[論文レビュー] Risk-Constrained Thompson Sampling for CVaR Bandits

Joel Q. L. Chang, Qiuyu Zhu+1 more|arXiv (Cornell University)|Nov 16, 2020

Advanced Bandit Algorithms Research参考文献 24被引用数 5

ひとこと要約

本稿では、条件付きリスク価値（CVaR）制約下でのマルチアームバンディット問題に対して、CVaR-TSと呼ばれる、トムソンサンプリングに基づくアルゴリズムを提案する。このアルゴリズムは、リスクに配慮した探索と活用のトレードオフを可能にし、特定の状態下では理論的下界に一致するインスタンス依存のリグレットバウンドを達成する。シミュレーションでは、LCB/UCBベースの手法と比較して、特にリスク制約下での可能/不可能なアームの特定において優れた性能を示す。

ABSTRACT

The multi-armed bandit (MAB) problem is a ubiquitous decision-making problem that exemplifies the exploration-exploitation tradeoff. Standard formulations exclude risk in decision making. Risk notably complicates the basic reward-maximising objective, in part because there is no universally agreed definition of it. In this paper, we consider a popular risk measure in quantitative finance known as the Conditional Value at Risk (CVaR). We explore the performance of a Thompson Sampling-based algorithm CVaR-TS under this risk measure. We provide comprehensive comparisons between our regret bounds with state-of-the-art L/UCB-based algorithms in comparable settings and demonstrate their clear improvement in performance. We also include numerical simulations to empirically verify that CVaR-TS outperforms other L/UCB-based algorithms.

研究の動機と目的

• 標準的なマルチアームバンディット定式化におけるリスクへの配慮の欠如を是正するため、CVaRをリスク指標として組み込むこと。
• ユーザーが定義するリスク許容度の閾値に従い、CVaRに基づいてアームを可能（CVaR ≤ τ）または不可能（CVaR > τ）と分類する、トムソンサンプリングに基づくアルゴリズム（CVaR-TS）を設計すること。
• CVaR-TSのリグレット性能を理論的に分析し、リスク制約付きバンディット設定における最先端のLCB/UCBベースのアルゴリズムと実験的に検証すること。
• CVaR-TSが特定のパrameter領域において、インスタンス依存の最適なリグレットバウンドを達成することを示すこと。

提案手法

• CVaR-TSは、アーム報酬の事後分布からのサンプリングにトムソンサンプリングを用い、報酬分布はガウス分布を仮定する。
• アルゴリズムは、τがユーザーが定義するリスク許容度レベルであるとき、CVaR ≤ τ であればアームを可能、CVaR > τ であれば不可能と分類する。
• 三重リグレットフレームワーク（可能だが非最適なアームのリグレット、不可能なアームのリグレット、全リグレット）を採用し、Kagrechaら（2020a）と整合性を保つ。
• 理論的分析では、ガウス分布間のKLダイバージェンスを用い、Kagrechaら（2020a）が提示したインスタンス依存の下界を適用して最適性を評価する。
• 非最適アームの期待的なプル回数の上界を導出し、特定の領域ではリグレットの成長率がインスタンス依存の下界と一致することを示す。
• 数値シミュレーションでは、CVaR-TSをRC-LCBおよびMaRaBと比較し、複数のリグレット指標およびリスク分類の正確性を評価する。

実験結果

リサーチクエスチョン

• RQ1 CVaRに基づくリスク制約を伴うマルチアームバンディット問題に、トムソンサンプリングを効果的に適応できるか？
• RQ2 リスク制約付きバンディット問題において、CVaR-TSのリグレット性能はLCB/UCBベースの手法と比べてどのように異なるか？
• RQ3 ガウス分布を仮定するCVaRバンディット設定において、CVaR-TSは理論的下界に一致するインスタンス依存のリグレットバウンドを達成できるか？
• RQ4 特に誤検出（偽陽性）および見逃し（偽陰性）の観点から、CVaR-TSは他のアルゴリズムと比較して、不可能なアームをどれほど正確に特定できるか？

主な発見

• CVaR-TSは、Kagrechaら（2020a）が導出した理論的下界と一致するインスタンス依存のリグレットバウンドを、特定のパrameter領域において達成しており、漸近的最適性を示している。
• 非最適アームの期待プル回数は、liminf_{n→∞} E[T_{i,n}] / log n ≥ 1 / η(i,α) という形で有界であり、η(i,α)はガウス分布間のKLダイバージェンスにより定義される。
• 不可能なアームに関しては、リグレットバウンドが ∑_{i∈K_τ^c} ξ²σ_i²D_{α,ξ}^i Δ_τ(i) とスケーリングされ、リスク閾値および分布パラメータに依存する。
• 可能だが非最適なアームに関しては、リグレットバウンドが ∑_{i∈K_τ∖K*} 2 / Δ(i) と表され、特定の条件下では平均・分散バンディットのインスタンス依存下界と一致する。
• 数値的シミュレーションにより、CVaR-TSが全リグレットの観点および不可能なアームを正しく特定する観点で、RC-LCBおよびMaRaBを顕著に上回ることが確認された。
• アルゴリズムはリスク制約に違反するアームを特定する能力に優れ、ベースライン手法と比較して高リスクアームのプル回数を削減している。