[論文レビュー] Optimal Best-Arm Identification Methods for Tail-Risk Measures

Shubhada Agrawal, Wouter M. Koolen+1 more|arXiv (Cornell University)|Aug 17, 2020

Advanced Bandit Algorithms Research参考文献 55被引用数 7

ひとこと要約

本稿では、重い尾を持つ分布を前提としたマルチアームバンディットにおける、尾リスク測度（特にCVaR、VaR、および平均CVaR）の下での最良腕同定のためのδ-正しい、漸近的に最適なアルゴリズムを提案する。この手法は、非漸近的経験尤度の集中不等式を用い、腕の分布に(1+ϵ)-モーメント制約がある場合でさえ、情報理論的下界に一致するサンプル複雑度を達成する非凸最適化問題を確率測度の空間上で解く。

ABSTRACT

Conditional value-at-risk (CVaR) and value-at-risk (VaR) are popular tail-risk measures in finance and insurance industries as well as in highly reliable, safety-critical uncertain environments where often the underlying probability distributions are heavy-tailed. We use the multi-armed bandit best-arm identification framework and consider the problem of identifying the arm from amongst finitely many that has the smallest CVaR, VaR, or weighted sum of CVaR and mean. The latter captures the risk-return trade-off common in finance. Our main contribution is an optimal $δ$-correct algorithm that acts on general arms, including heavy-tailed distributions, and matches the lower bound on the expected number of samples needed, asymptotically (as $δ$ approaches $0$). The algorithm requires solving a non-convex optimization problem in the space of probability measures, that requires delicate analysis. En-route, we develop new non-asymptotic empirical likelihood-based concentration inequalities for tail-risk measures which are tighter than those for popular truncation-based empirical estimators.

研究の動機と目的

• マルチアームバンディットにおけるCVaR や VaR といった尾リスク測度の下での最良腕同定のための体系的でない手法の欠如に対処する。
• 固定信頼度δ-正しい設定における、リスク感受性の目的関数（CVaR、VaR、平均CVaR）の下での最良腕同定問題を定式化する。
• 尾リスクが最小である腕を同定するための理論的に最適なアルゴリズムを提供し、期待されるサンプル複雑度の漸近的下界に一致させる。
• 腕の分布に(1+ϵ)-モーメント制約を課すことにより、CVaR最良腕同定問題が学習可能である条件を確立する。
• 経験尤度に基づく、尾リスク推定器のためのより緊密な非漸近的集中不等式を構築し、標準的な切り捨てに基づく手法を上回る。

提案手法

• CVaR、VaR、または平均CVaRが最小である腕を識別するためのδ-正しいアルゴリズムを提案し、少なくとも1−δの確率で正しく動作することを保証する。
• 経験尤度に基づく集中不等式を用いて、尾リスク測度の推定誤差を制限し、切り捨てに基づく推定器よりも tighter な境界を達成する。
• 最適なサンプリング戦略を、確率測度の空間上の非凸最適化問題として定式化し、解くために繊細な解析を要する。
• 十分な信頼度に達した際にアルゴリズムを終了するための一般化尤度比検定（GLRT）に基づく停止ルールを導入する。
• 最適なサンプリング分布を近似するために、二分探索と1ステップのサドルポイントソルバーを用いた計算効率の良い変種を実装する。
• Cトラッキングと√n強制的探索を適用して、探索のバランスを維持し、実際の収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 CVaR や VaR 目的関数の下で、サンプル複雑度の漸近的下界に一致するδ-正しいアルゴリズムを設計できるか？
• RQ2 腕の分布族にどのような条件を課すと、CVaR最良腕同定問題が学習可能になるか？
• RQ3 非漸近的集中不等式（尾リスク測度）と切り捨てに基づくものとの間で、タイトネスとサンプル効率の点でどのように比較されるか？
• RQ4 サンプル複雑度が(1+ϵ)-モーメントバウンドBと尾指数ϵにどのように依存するか？
• RQ5 有限なδにおける実験的シミュレーションでも、理論的な漸近的最適性が観察できるか？

主な発見

• 提案されたアルゴリズムは、CVaRおよびVaR目的関数の下で、δ-正しい最良腕同定における情報理論的下界に一致する、漸近的に最適なサンプル複雑度を達成する。
• ϵ < 1 の場合、サンプル複雑度はB^{1/ϵ}に比例し、これはBに関して凸であり、より厳しいモーメントバウンドでは急激に増加する。ϵ > 1 の場合、線形に増加する。
• 実験的結果では、平均停止時刻が中程度のδに対しても理論的下界に非常に近いことが示され、実際の応用においても漸近的最適性が妥当であることを裏付けた。
• アルゴリズムの性能は、特にϵ < 1の場合に、モーメントバウンドBの正しい推定に非常に敏感であり、Bが増加するとサンプル複雑度が急激に増加する。
• 尾リスク測度のための非漸近的経験尤度集中不等式は、切り捨てに基づくものよりもタイトであり、より効率的なサンプリングを可能にする。
• 特徴的時間1/Ṽ(µ)の解釈可能なサンドイッチ境界により、ϵ < 1 の場合にサンプル複雑度がB^{1/ϵ}に比例し、ϵ > 1 の場合に線形に増加することが確認され、乗数因子2^{1/ϵ}を伴う。