[论文解读] Generalized Risk-Aversion in Stochastic Multi-Armed Bandits

A.M. Zimin, Rasmus Ibsen-Jensen+1 more|arXiv (Cornell University)|May 5, 2014

Advanced Bandit Algorithms Research参考文献 12被引用 20

一句话总结

本文提出了一种广义的风险规避多臂赌博机框架，其中臂的价值由其均值和方差的任意函数 $\varphi(\mu, \sigma^2)$ 定义，而非仅依赖于均值。提出了 $\varphi$-LCB 和 $\varphi$-LCB2 算法，对连续风险函数实现了对数 regret 边界，并在温和条件下处理了不连续情形，建立了风险规避赌博机学习的根本限制。

ABSTRACT

We consider the problem of minimizing the regret in stochastic multi-armed bandit, when the measure of goodness of an arm is not the mean return, but some general function of the mean and the variance.We characterize the conditions under which learning is possible and present examples for which no natural algorithm can achieve sublinear regret.

研究动机与目标

• 将风险规避多臂赌博机形式化，使用均值和方差的通用函数作为风险度量，超越固定风险度量（如均值-方差或夏普比率）的限制。
• 识别在广义风险规避设置下子线性 regret 可实现的条件。
• 开发在连续风险函数下实现对数 regret 的算法，并在温和假设下处理不连续情形。
• 通过证明不存在自然的乐观算法能对某些不连续风险函数实现子线性 regret，建立理论极限。

提出的方法

• 提出广义风险规避赌博机问题，其中臂的价值由其均值 $\mu$ 和方差 $\sigma^2$ 的函数 $\varphi(\mu, \sigma^2)$ 定义，而非仅依赖于均值。
• 引入 $\varphi$-LCB 算法，作为上置信界（UCB）的变体，通过在均值和方差上使用置信区间来平衡探索与利用。
• 使用霍夫丁型不等式对经验均值和二阶矩估计的高概率集中性进行分析，以构建置信区间。
• 对于不连续风险函数，提出 $\varphi$-LCB2，该算法延迟探索，直到估计足够精确，以避免在不连续点附近采样。
• 引入一种新颖的距离函数 $d_\Omega(\widehat{\mu}_{i,t}, \widehat{\sigma}^2_{i,t})$，以确保置信区间足够紧密，从而避免选择次优臂。
• 通过 regret 分解 $\mathcal{R}_n = \sum_{i:\Delta_i > 0} \Delta_i T_i(n)$ 推导 regret 边界，利用置信区间宽度的反函数来限制抽取次数 $T_i(n)$。

实验结果

研究问题

• RQ1 在风险函数 $\varphi(\mu, \sigma^2)$ 满足何种条件下，可在随机多臂赌博机中实现子线性 regret？
• RQ2 当 $\varphi$ 不连续时，面对不确定性的乐观算法能否实现子线性 regret？
• RQ3 风险函数的结构（如连续性、可微性）如何影响风险规避赌博机中学习的可行性？
• RQ4 在何种最小假设下，仍可通过改进算法实现对数 regret？
• RQ5 是否存在单一算法框架，通过适当修改，能够同时处理连续与不连续风险度量？

主要发现

• 对于所有连续风险函数 $\varphi$，$\varphi$-LCB 算法实现了对数 regret，其 regret 边界为 $\mathcal{R}_n \leq \sum_{i:\Delta_i > 0} \left( \frac{18 \ln(1/\delta)}{(\varphi^{-1}(\Delta_i/2))^2} + 1 \right) \Delta_i$。
• 对于不连续风险函数，不存在自然的乐观算法能实现子线性 regret，揭示了学习的根本障碍。
• $\varphi$-LCB2 算法在温和假设下实现了对数 regret，即任意臂的真实 $(\mu_i, \sigma_i^2)$ 不恰好位于 $\varphi$ 的不连续点上，其 regret 边界为 $\mathcal{R}_n \leq \sum_{i:\Delta_i > 0} \left( 162 e_i^{-2} \ln(1/\delta) + \frac{18 \ln(1/\delta)}{(\varphi_i^{-1}(\Delta_i/2))^2} + 1 \right) \Delta_i$。
• 本文证明了 $\varphi$ 的连续性是该广义风险规避框架中实现子线性 regret 的关键条件。
• 结果推广了先前关于均值-方差和夏普比率赌博机的研究，允许任意连续风险函数，同时保持对数 regret 保证。
• 分析表明，即使风险度量中存在微小的不连续性，也会使标准的乐观算法失效，因此必须对算法进行重新设计。