[論文レビュー] A General Approach to Multi-Armed Bandits Under Risk Criteria

Asaf Cassel, Shie Mannor+1 more|arXiv (Cornell University)|Jun 4, 2018

Advanced Bandit Algorithms Research被引用数 37

ひとこと要約

本稿では、報酬分布とパフォーマンス指標の間の一般条件を同定することで、さまざまなリスク基準におけるマルチアームバンディットの統一的枠組みを提示する。これにより、UCBポリシーの体系的設計と、CVaR、平均分散、シャープレシオなどの目的のためのオラクル特徴付けが可能となり、基準間での直感に反する統計的挙動の違いが明らかになる。

ABSTRACT

Different risk-related criteria have received recent interest in learning problems, where typically each case is treated in a customized manner. In this paper we provide a more systematic approach to analyzing such risk criteria within a stochastic multi-armed bandit (MAB) formulation. We identify a set of general conditions that yield a simple characterization of the oracle rule (which serves as the regret benchmark), and facilitate the design of upper confidence bound (UCB) learning policies. The conditions are derived from problem primitives, primarily focusing on the relation between the arm reward distributions and the (risk criteria) performance metric. Among other things, the work highlights some (possibly non-intuitive) subtleties that differentiate various criteria in conjunction with statistical properties of the arms. Our main findings are illustrated on several widely used objectives such as conditional value-at-risk, mean-variance, Sharpe-ratio, and more.

研究の動機と目的

• 確率的マルチアームバンディットにおけるリスク基準の体系的取り扱いの欠如に対処すること。
• アーム報酬分布とリスクベースのパフォーマンス指標を結びつける一般条件を同定すること。
• 多様なリスク基準にわたるオラクルルールの統一的特徴付けを可能にすること。
• これらの基準下での上界信頼区間（UCB）学習ポリシーの設計を促進すること。
• リスク基準間の微細な統計的差異がバンディット設定における学習行動に与える影響を浮き彫りにすること。

提案手法

• トラactableなオラクル特徴付けを保証する報酬分布およびリスク指標に関する一般条件を導出する。
• 具体的には、報酬分布の性質とリスク関数の相互作用に着目し、問題の基本的構造を用いて条件を定義する。
• 得られた条件を応用して、探索とリスクに配慮した活用の両立を図るUCBスタイルの学習ポリシーを導出する。
• 各アームのリスク指標および分布的性質に基づいて、最適ポリシー（オラクル）を特徴付ける。
• 条件付きリスク価値（CVaR）、平均分散、シャープレシオといった具体的な目的にこの枠組みを適用する。
• 異なるリスク基準がアームの分布に異なる統計的依存関係を引き起こし、学習ダイナミクスに影響を与えることを示す。

実験結果

リサーチクエスチョン

• RQ1 多様なリスク基準にわたるリスクに配慮したマルチアームバンディットの統一的枠組みをどのように構築できるか？
• RQ2 報酬分布およびリスク指標にどのような一般条件が、 tractable なオラクルルールを生じるか？
• RQ3 CVaR、平均分散、シャープレシオといった異なるリスク基準が、アーム報酬の統計的性質とどのように相互作用するか？
• RQ4 これらの差異が、UCBベースの学習ポリシー設計にどのような影響を及えるか？
• RQ5 リスク基準が確率的バンディットにおける非直感的な学習行動を引き起こすメカニズムは何か？

主な発見

• 提案された条件により、複数のリスク基準にわたるオラクルルールの体系的特徴付けが可能となり、レグレット分析のベンチマークが得られる。
• 異なるリスク基準がアーム報酬分布に異なる統計的依存関係を引き起こし、学習行動における非直感的な差異を生じる。
• この枠組みにより、CVaR やシャープレシオといったリスクに配慮した目的に特化したUCBポリシーの設計が、一般原理に基づいて可能になる。
• 平均分散とシャープレシオ基準は、高次モーメントへの感受性が異なり、探索と活用のトレードオフに影響を及ぼす。
• 条件付きリスク価値（CVaR）は、尾部挙動の取り扱いが重要であり、この枠組みは分布的仮定を通じてこれを形式化する。
• 分析から、リスク基準は、目的関数の形が似通っていても、バンディット学習においては相互に交換可能ではないことが明らかになる。