[論文レビュー] Index-Based Policy for Risk-Averse Multi-Armed Bandit

Jianyu Xu, William B. Haskell+1 more|arXiv (Cornell University)|Sep 14, 2018

Advanced Bandit Algorithms Research参考文献 24被引用数 3

ひとこと要約

本稿は、一貫性のあるリスク測度（条件付きリスク価値（CVaR）、平均偏差（MD）、ショートフォールリスク）を用いて、リスク回避的多腕バンディット（MAB）のためのインデックスベースのポリシーを導入する。各リスク測度において、擬似リグレットの非線形収束レートを確立し、確率的でリスク回避的なオンライン最適化における長期的パフォーマンスに対する理論的保証を提供する。

ABSTRACT

The multi-armed bandit (MAB) is a classical online optimization model for the trade-off between exploration and exploitation. The traditional MAB is concerned with finding the arm that minimizes the mean cost. However, minimizing the mean does not take the risk of the problem into account. We now want to accommodate risk-averse decision makers. In this work, we introduce a coherent risk measure as the criterion to form a risk-averse MAB. In particular, we derive an index-based online sampling framework for the risk-averse MAB. We develop this framework in detail for three specific risk measures, i.e. the conditional value-at-risk, the mean-deviation and the shortfall risk measures. Under each risk measure, the convergence rate for the upper bound on the pseudo regret, defined as the difference between the expectation of the empirical risk based on the observation sequence and the true risk of the optimal arm, is established.

研究の動機と目的

• 古典的なリスク中立的多腕バンディットがコスト分布の分散やリスクを無視するという限界を解消する。
• 一般の一貫性のあるリスク測度を最適化基準として用いて、リスク回避的MABフレームワークを形式化する。
• リスク測度における最適腕の真のリスクと経験的リスクの差として定義される新しい擬似リグレットの概念を定義する。
• 古典的なMABの原則をリスク回避的設定に適応するインデックスベースのポリシーを開発する。
• 条件付きリスク価値（CVaR）、平均偏差（MD）、ショートフォールリスクという3つの特定のリスク測度における擬似リグレットの理論的収束レートを確立する。

提案手法

• 多腕バンディット設定における最適腕の選択基準として、一般の一貫性のあるリスク測度を性能基準として導入する。
• 擬似リグレットを、観測されたサンプルに基づく経験的リスクと最適腕の真のリスクの期待値の差として定義する。
• 各腕に経験的リスク推定値と信頼区間項を組み合わせたインデックスを割り当てるインデックスベースのポリシーを構築する。
• 濃度不等式（例：ホフディングの不等式）を用いて、経験的リスクおよび平均偏差の推定誤差をバインドする。
• 損失関数のリプシッツ連続性とM推定量理論を用いて、経験的リスク推定値が真のリスク値にほとんど確実に収束することを証明する。
• 各リスク測度における、経験的インデックスとその真の値との乖離を分析することで、擬似リグレットの収束レートを導出する。

実験結果

リサーチクエスチョン

• RQ1 古典的な多腕バンディットフレームワークは、リスクを最小化することを重視する意思決定者をどのように拡張できるか？
• RQ2 レギュラリティの加法性が成立しなくなるリスク回避的MAB設定において、理論的に整合性のある擬似リグレットの定義は何か？
• RQ3 CVaR、平均偏差、ショートフォールリスクといった一般の一貫性のあるリスク測度に対して、インデックスベースのポリシーを構築し、収束を証明できるか？
• RQ4 提案されたポリシー下で、これらの3つの特定のリスク測度における擬似リグレットの収束レートは何か？
• RQ5 提案されたポリシーの理論的保証は、既存のリスク回避的MAB手法と比較して、リグレットバウンドおよび適用可能性の面で優れているか？

主な発見

• 本稿は、条件付きリスク価値（CVaR）測度におけるリスク回避的MABに対して、擬似リグレットの非線形上界を確立した。
• 平均偏差（MD）リスク測度において、提案されたポリシーは擬似リグレットの非線形収束レートを達成しており、理論的妥当性を確認した。
• ショートフォールリスク測度に対しても、擬似リグレットの非線形収束レートが得られ、提案フレームワークの異なるリスク測度にわたるロバスト性を示した。
• 理論的分析により、提案されたインデックスポリシー下で、経験的リスク推定値が真のリスク値にほとんど確実に収束することが確認された。
• 収束レートは濃度不等式とM推定量理論を用いて導出され、大標本状態における信頼性の高いパフォーマンスを保証した。
• インデックスをリスク感受性推定値と信頼区間を組み合わせることで、古典的なインデックスポリシーをリスク回避的設定に一般化した。