[论文解读] Functional Bandits

The Anh Han, Jia Yuan Yu|arXiv (Cornell University)|May 10, 2014

Advanced Bandit Algorithms Research参考文献 24被引用 5

一句话总结

本文提出了函数带 bandit 问题，其目标是识别出能优化已知奖励分布泛函的臂。作者提出了一种新颖的方法，结合了泛函估计与臂消除，实现了可证明的高效性能保证，并在风险管理和信息论中的关键泛函上展示了有效性。

ABSTRACT

We introduce the functional bandit problem, where the objective is to find an arm that optimises a known functional of the unknown arm-reward distributions. These problems arise in many settings such as maximum entropy methods in natural language processing, and risk-averse decision-making, but current best-arm identification techniques fail in these domains. We propose a new approach, that combines functional estimation and arm elimination, to tackle this problem. This method achieves provably efficient performance guarantees. In addition, we illustrate this method on a number of important functionals in risk management and information theory, and refine our generic theoretical results in those cases.

研究动机与目标

• 解决现有最佳臂识别技术在涉及奖励分布泛函问题上的局限性。
• 为序列决策中的泛函（如熵和风险度量）优化建立统一框架。
• 为函数带 bandit 问题中的高效学习提供理论保证。
• 将现有 bandit 算法扩展至处理最大熵和风险规避等复杂目标。

提出的方法

• 该方法将泛函估计与臂消除相结合，以识别给定奖励分布泛函下的最优臂。
• 利用统计估计器，从采样数据中近似臂奖励分布的泛函。
• 基于泛函估计导出的置信区间，顺序地消除次优臂。
• 通过控制泛函估计误差，实现探索与利用之间的平衡，确保样本效率。
• 该方法具有通用性，适用于广泛多样的泛函，包括信息论和风险管理中的泛函。
• 理论分析建立了可证明高效的性能，样本复杂度边界依赖于泛函的光滑性与分布特性。

实验结果

研究问题

• RQ1 当目标是奖励分布的泛函而非简单均值时，如何高效识别最优臂？
• RQ2 在函数带 bandit 目标下，学习最优臂的样本复杂度是多少？
• RQ3 如何设计一种 bandit 算法，以平衡泛函估计精度与臂消除效率？
• RQ4 所提出的方法能否为熵和风险度量等泛函实现理论上的效率保证？
• RQ5 在最大熵或风险价值（Value-at-Risk）等特定情况下，理论保证如何进一步优化？

主要发现

• 所提方法实现了可证明高效的性能，样本复杂度边界依赖于泛函的光滑性与底层分布结构。
• 该框架成功处理了信息论中的泛函（如熵）和风险管理中的泛函（如风险价值，Value-at-Risk）。
• 理论分析证实，在弱正则性条件下，该算法以高概率收敛至最优臂。
• 实验验证表明，与标准 bandit 算法相比，该方法在函数带 bandit 问题上表现出更优性能。
• 针对特定泛函推导出更精细的理论结果，表明在最大熵和风险规避决策等实际场景中可获得更紧的边界。
• 泛函估计与臂消除的结合，实现了高效探索，同时保持了泛函近似的统计精度。