[論文レビュー] Distribution oblivious, risk-aware algorithms for multi-armed bandits with unbounded rewards

Anmol Kagrecha, Jayakrishnan Nair+1 more|arXiv (Cornell University)|Jun 1, 2019

Advanced Bandit Algorithms Research被引用数 16

ひとこと要約

本稿では、期待報酬と条件付きリスク価値（CVaR）のトレードオフを最適化する、分布に依存しないリスク対応型のアルゴリズムを、報酬が有界でない多腕バンディット問題における最適腕同定のために提案する。報酬分布のモーメントやサブオプティマルギャップに関する事前知識が不要であるにもかかわらず、誤差の理論的上限を達成する。

ABSTRACT

Classical multi-armed bandit problems use the expected value of an arm as a metric to evaluate its goodness. However, the expected value is a risk-neutral metric. In many applications like finance, one is interested in balancing the expected return of an arm (or portfolio) with the risk associated with that return. In this paper, we consider the problem of selecting the arm that optimizes a linear combination of the expected reward and the associated Conditional Value at Risk (CVaR) in a fixed budget best-arm identification framework. We allow the reward distributions to be unbounded or even heavy-tailed. For this problem, our goal is to devise algorithms that are entirely distribution oblivious, i.e., the algorithm is not aware of any information on the reward distributions, including bounds on the moments/tails, or the suboptimality gaps across arms. In this paper, we provide a class of such algorithms with provable upper bounds on the probability of incorrect identification. In the process, we develop a novel estimator for the CVaR of unbounded (including heavy-tailed) random variables and prove a concentration inequality for the same, which could be of independent interest. We also compare the error bounds for our distribution oblivious algorithms with those corresponding to standard non-oblivious algorithms. Finally, numerical experiments reveal that our algorithms perform competitively when compared with non-oblivious algorithms, suggesting that distribution obliviousness can be realised in practice without incurring a significant loss of performance.

研究の動機と目的

• リスク管理が重要な応用分野において、リスク中立的期待値指標に依存する古典的手法の限界を是正すること。
• 報酬分布のモーメント、尾部挙動、サブオプティマルギャップに関する事前知識を一切必要としない、完全に分布に依存しないアルゴリズムを設計し、強力な性能保証を確保すること。
• 固定予算枠における最適腕同定フレームワークにおいて、期待報酬と条件付きリスク価値（CVaR）の線形結合を最適化すること。
• 報酬分布が有界でない、または重尾である場合の誤った腕同定確率に対して、理論的上界を確立すること。

提案手法

• 分布の仮定なしに、有界でないおよび重尾の確率変数のCVaRを推定するための新規推定器を設計し、分布に依存しないリスク対応意思決定を可能にする。
• 提案されたCVaR推定器の濃縮不等式を証明し、有限標本における性能保証を導出するために不可欠な性質を確立する。
• 分布の情報を利用せずに、推定されたCVaRと期待報酬に基づいて探索と活用のバランスを取る、分布に依存しないアルゴリズムのクラスを構築する。
• 固定予算フレームワークを用いて、報酬分布が未知で、かつ重尾である可能性がある状況においても、高確率で最適腕を選択することを保証する。
• リスク調整済みの性能推定に基づいて、腕に割り当てる試行回数を動的に制御するバンドイット学習フレームワークにCVaR推定器を統合する。
• 分布パラメータに依存せず、問題固有の難易度にのみ依存する誤った同定確率の理論的上界を導出する。

実験結果

リサーチクエスチョン

• RQ1 報酬分布が有界でない場合に、期待報酬とCVaRによるリスクのバランスを適切にとる分布に依存しないアルゴリズムを設計できるか？
• RQ2 報酬分布が有界でない、または重尾であり、分布に関する情報が一切ない状況において、CVaRのロバストで理論的に正確な推定器は何か？
• RQ3 モーメントや尾部挙動の知識を利用している非依存型アルゴリズムと比較して、分布に依存しないアルゴリズムの誤差上限はどのように異なるか？
• RQ4 分布に関する仮定が欠如しているにもかかわらず、実用的性能が競争力を持つ分布に依存しないアルゴリズムは実現可能か？
• RQ5 一般の有界でない分布に対して、提案されたCVaR推定器はどのような濃縮性質を示すか？

主な発見

• 提案されたCVaR推定器は、モーメントや尾部減衰率の知識を一切要しない有界でない、あるいは重尾分布に対し、理論的濃縮バインディングを提供する最初のものである。
• 本稿では、第一モーメントの存在を除き、報酬分布に関するいかなる仮定も行わない条件下で、誤った同定確率の理論的上界を確立している。
• 数値実験の結果、分布に依存しないアルゴリズムは非依存型の類似手法と同等の性能を示しており、分布の無知が顕著な性能損失をもたらさないことが示された。
• CVaR推定器の濃縮不等式は、バンドイット設定を超えて応用可能な独立した価値を持つものであり、関心の高い性質である。
• 提案アルゴリズムの誤差上限は、非依存型アルゴリズムと同程度のオーダーに収まり、分布に依存しない性質を保ちつつ理論的保証を失わないことが実証された。
• 本フレームワークは、CVaRによるリスク対応性を最適腕同定問題に統合しながら、分布に依存しない性質を維持しており、バンドイット分野における画期的な貢献である。