[论文解读] Index-Based Policy for Risk-Averse Multi-Armed Bandit

Jianyu Xu, William B. Haskell+1 more|arXiv (Cornell University)|Sep 14, 2018

Advanced Bandit Algorithms Research参考文献 24被引用 3

一句话总结

本文提出一种基于索引的策略，用于风险规避的多臂老虎机问题，采用一致风险度量——条件风险价值（CVaR）、平均偏差（MD）和短路风险——以优化风险敏感决策。该研究在每种风险度量下建立了伪遗憾的次线性收敛速率，为随机、风险规避的在线优化提供了长期性能的理论保证。

ABSTRACT

The multi-armed bandit (MAB) is a classical online optimization model for the trade-off between exploration and exploitation. The traditional MAB is concerned with finding the arm that minimizes the mean cost. However, minimizing the mean does not take the risk of the problem into account. We now want to accommodate risk-averse decision makers. In this work, we introduce a coherent risk measure as the criterion to form a risk-averse MAB. In particular, we derive an index-based online sampling framework for the risk-averse MAB. We develop this framework in detail for three specific risk measures, i.e. the conditional value-at-risk, the mean-deviation and the shortfall risk measures. Under each risk measure, the convergence rate for the upper bound on the pseudo regret, defined as the difference between the expectation of the empirical risk based on the observation sequence and the true risk of the optimal arm, is established.

研究动机与目标

• 解决经典风险中性多臂老虎机方法忽略成本分布方差和风险的局限性。
• 将风险规避的多臂老虎机框架形式化，使用一般一致风险度量作为优化准则。
• 定义一种新的伪遗憾概念，即在某种风险度量下，最优臂的实证风险与真实风险之间的差值。
• 设计一种基于索引的策略，将经典多臂老虎机原理适配至风险规避场景。
• 在三种特定风险度量下（CVaR、MD和短路风险）建立伪遗憾的理论收敛速率。

提出的方法

• 引入一般一致风险度量作为多臂老虎机设置中选择最优臂的性能准则。
• 将伪遗憾定义为实证风险（基于观测样本）与最优臂真实风险之间差值的期望。
• 构建一种基于索引的策略，其中每项臂被分配一个索引，该索引结合了实证风险估计与置信区间项。
• 应用集中不等式（如Hoeffding不等式）以限制实证风险和均值偏差中的估计误差。
• 利用M-估计理论和损失函数的Lipschitz连续性，证明实证风险估计几乎必然收敛至真实风险值。
• 通过分析每种风险度量下实证索引与其真实值之间的偏差，推导伪遗憾的收敛速率。

实验结果

研究问题

• RQ1 如何将经典多臂老虎机框架扩展，以适应优先最小化风险而非最小化均值成本的风险规避决策者？
• RQ2 在风险规避的多臂老虎机设置中，当遗憾的可加性不再成立时，如何定义一个理论合理的伪遗憾？
• RQ3 能否构建并证明一种基于索引的策略，在CVaR、平均偏差和短路风险等一般一致风险度量下实现收敛？
• RQ4 在所提出的策略下，这三种特定风险度量的伪遗憾收敛速率如何？
• RQ5 与现有风险规避多臂老虎机方法相比，所提策略的理论保证在遗憾界和适用性方面表现如何？

主要发现

• 本文在条件风险价值（CVaR）度量下，为风险规避多臂老虎机建立了伪遗憾的次线性上界。
• 对于平均偏差（MD）风险度量，所提策略实现了伪遗憾的次线性收敛速率，证实了其理论有效性。
• 短路风险度量也对伪遗憾产生了次线性收敛速率，表明所提框架在不同风险度量下的鲁棒性。
• 理论分析证实，在所提索引策略下，实证风险估计几乎必然收敛至真实风险值。
• 收敛速率通过集中不等式和M-估计理论推导，确保在大样本情形下的可靠性能。
• 该框架通过重新定义索引以整合风险敏感估计量和置信区间，将经典索引策略推广至风险规避场景。