[論文レビュー] Optimal Thompson Sampling strategies for support-aware CVaR bandits

Dorian Baudry, Romain Gautron+2 more|arXiv (Cornell University)|Dec 10, 2020

Advanced Bandit Algorithms Research参考文献 27被引用数 7

ひとこと要約

本稿では、報酬が有界である条件付きリスク価値（CVaR）バンディット問題に対して、B-CVTSおよびM-CVTSという新たなトレーディングサンプリングアルゴリズムを提案し、CVaRレジストの最小化において漸近的最適性を達成する。著者らは理論的に先行研究を拡張し、これらの戦略がCVaRレジストの漸近的下界に一致することを証明した。合成的および農業分野の実世界シミュレーションにおいて、UCBベースの手法を上回り、特に報酬サポートの上限値の過大評価が生じる状況でも優れた性能を示した。

ABSTRACT

In this paper we study a multi-arm bandit problem in which the quality of each arm is measured by the Conditional Value at Risk (CVaR) at some level alpha of the reward distribution. While existing works in this setting mainly focus on Upper Confidence Bound algorithms, we introduce a new Thompson Sampling approach for CVaR bandits on bounded rewards that is flexible enough to solve a variety of problems grounded on physical resources. Building on a recent work by Riou & Honda (2020), we introduce B-CVTS for continuous bounded rewards and M-CVTS for multinomial distributions. On the theoretical side, we provide a non-trivial extension of their analysis that enables to theoretically bound their CVaR regret minimization performance. Strikingly, our results show that these strategies are the first to provably achieve asymptotic optimality in CVaR bandits, matching the corresponding asymptotic lower bounds for this setting. Further, we illustrate empirically the benefit of Thompson Sampling approaches both in a realistic environment simulating a use-case in agriculture and on various synthetic examples.

研究の動機と目的

• 報酬が有界なCVaRバンディット問題に対して、漸近的最適なトレーディングサンプリング戦略が不足しているという問題に取り組む。
• 物理的リソースに基づく問題（例：農業意思決定）に適した柔軟でリスクに配慮したアルゴリズムを開発する。
• トレーディングサンプリングのCVaRレジストを理論的に束縛し、先行分析を拡張する。
• 提案手法がUCBベースのCVaRバンディットアルゴリズムを、現実的および合成的環境において優劣に及ぼす実証的妥当性を検証する。
• 一般的な実務的課題である報酬サポート上限値の不正確な推定に対するロバストネスを評価する。

提案手法

• 連続的かつ有界な報酬に対して、ベータ・ベルヌーイ共役事前分布フレームワークを用いて、CVaRの事後分布からのサンプリングを可能にするB-CVTSを提案する。
• 多項分布に従う報酬を想定し、離散的サポートを持つ文脈で、CVaRに基づくアーム選択に適合させたトレーディングサンプリングをM-CVTSとして導入する。
• RiouとHonda（2020）の分析を非自明に拡張し、CVaRレジストにおける漸近的最適性の境界を導出する。
• リスク回避的意思決定をモデル化するため、CVaRを「x から 1/α 倍の正の偏差の期待値を引いたもの」の上界として定義する。
• 集中不等式と事後分布サンプリングを用いて、CVaR基準における探索と活用のバランスを取る。
• 観測された報酬を組み込むベイジアン更新メカニズムを採用し、アーム固有のCVaR値の事後推定値を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 報酬が有界なCVaRバンディット問題において、トレーディングサンプリングをどのように変更すれば、漸近的最適性を達成できるか？
• RQ2 提案されたB-CVTSおよびM-CVTS戦略は、UCBベースのCVaRバンディットアルゴリズムと比較して、CVaRレジストの観点でどの程度優れているか？
• RQ3 実務的応用において、報酬サポート上限値の過大評価に対して、B-CVTSの性能はどの程度ロバストであるか？
• RQ4 複雑で正規分布でない報酬分布を示す実世界環境でも、提案手法は強固な性能を維持できるか？
• RQ5 提案されたアルゴリズムの理論的レジスト境界が、既知のCVaRバンディット問題の漸近的下界と一致することを証明できるか？

主な発見

• B-CVTSおよびM-CVTSは、CVaRバンディット問題において、理論的に漸近的最適性を達成する初めてのトレーディングサンプリング戦略であり、CVaRレジストの理論的下界に一致する。
• 7アームのDSSAT農業シミュレーションにおいて、T=10,000、α=5%の条件下で、B-CVTSは700 t/haのCVaRレジストを達成し、U-UCB（5687 t/ha）およびCVaR-UCB（1891 t/ha）を著しく上回った。
• 真の値（約10 t/ha）よりも高い上限（30 t/ha）を仮定した場合、B-CVTSはα=5%で195 t/haのレジストを維持したが、U-UCBとCVaR-UCBはそれぞれ150%および75%のレジスト上昇を示した。
• α=80%の場合、正しくサポートされた設定ではB-CVTSが293 t/haのレジストを達成し、過大評価された設定でも284 t/haを記録し、ロバストネスを示した。
• 実証的結果から、B-CVTSは高次元の行動空間（例：7つの播種日）において、レジストと安定性の両面でUCBベースの手法を上回ることが明らかになった。
• 本研究は、CVaRのような一貫性のあるリスク測度を用いたリスク回避的設定において、トレーディングサンプリングを効果的に拡張でき、理論的および実証的両面で最適なパフォーマンスを達成できることを示した。