[论文解读] A General Approach to Multi-Armed Bandits Under Risk Criteria

Asaf Cassel, Shie Mannor+1 more|arXiv (Cornell University)|Jun 4, 2018

Advanced Bandit Algorithms Research被引用 37

一句话总结

本文通过识别奖励分布与性能度量之间的一般性条件，提出了一种在各种风险准则下统一处理多臂赌博机问题的框架。该框架支持UCB策略的系统性设计与关于CVaR、均值-方差和夏普比率等目标的最优规则表征，揭示了不同准则下统计行为的非直观差异。

ABSTRACT

Different risk-related criteria have received recent interest in learning problems, where typically each case is treated in a customized manner. In this paper we provide a more systematic approach to analyzing such risk criteria within a stochastic multi-armed bandit (MAB) formulation. We identify a set of general conditions that yield a simple characterization of the oracle rule (which serves as the regret benchmark), and facilitate the design of upper confidence bound (UCB) learning policies. The conditions are derived from problem primitives, primarily focusing on the relation between the arm reward distributions and the (risk criteria) performance metric. Among other things, the work highlights some (possibly non-intuitive) subtleties that differentiate various criteria in conjunction with statistical properties of the arms. Our main findings are illustrated on several widely used objectives such as conditional value-at-risk, mean-variance, Sharpe-ratio, and more.

研究动机与目标

• 解决随机多臂赌博机中风险准则缺乏系统性处理的问题。
• 识别将臂的奖励分布与基于风险的性能度量相联系的一般性条件。
• 实现对多种风险准则下最优规则（oracle）的统一表征。
• 促进在这些准则下上置信界（UCB）学习策略的设计。
• 突出风险准则在赌博机设置中导致的细微统计差异。

提出的方法

• 推导出确保最优规则可处理的奖励分布与风险度量的一般性条件。
• 利用问题基本要素——特别是奖励分布特性与风险泛函之间的相互作用——来定义这些条件。
• 将这些条件应用于推导出平衡探索与风险感知利用的UCB式学习策略。
• 以风险度量和每条臂的分布特性来表征最优策略（即最优规则）。
• 将该框架应用于具体目标，如条件风险价值（CVaR）、均值-方差和夏普比率。
• 证明不同风险准则会引致对臂分布的统计依赖性差异，从而影响学习动态。

实验结果

研究问题

• RQ1 如何为多种风险准则下的风险感知多臂赌博机构建统一框架？
• RQ2 奖励分布与风险度量的何种一般性条件可产生可处理的最优规则？
• RQ3 不同风险准则（如CVaR、均值-方差和夏普比率）如何与臂奖励的统计特性相互作用？
• RQ4 这些差异对设计基于UCB的学习策略有何影响？
• RQ5 风险准则在随机赌博机中如何导致非直观的学习行为？

主要发现

• 所提出的条件使得在多种风险准则下对最优规则的系统性表征成为可能，为后悔分析提供了基准。
• 不同风险准则会引致对臂奖励分布的统计依赖性差异，从而导致学习行为的非直观差异。
• 该框架支持基于一般性原则设计针对风险感知目标（如CVaR和夏普比率）的UCB策略。
• 均值-方差与夏普比率准则对高阶矩表现出不同的敏感性特征，影响探索与利用的权衡。
• 条件风险价值（CVaR）需要对尾部分布行为进行仔细处理，该框架通过分布假设对此进行了形式化。
• 分析表明，即使在目标形式上相似，风险准则在赌博机学习中也并非可互换的。