[論文レビュー] X-Armed Bandits: Optimizing Quantiles, CVaR and Other Risks

Léonard Torossian, Aurélien Garivier+1 more|arXiv (Cornell University)|Apr 17, 2019

Risk and Portfolio Optimization参考文献 22被引用数 10

ひとこと要約

本稿では、確率的ブラックボックス環境におけるリスクセンシティブな関数的（分位数やCVaRなど）を最適化するための新規なXアームドバンディットアルゴリズムStoROOを提案する。Kullback-Leibler発散とChernoff型不等式に基づくタイトな信頼区間を活用することで、HoeffdingまたはBernsteinの境界に依存するベースライン手法と比較して、特に低確率の尾部領域において顕著に高速な収束と低いシンプルレグレットを達成する。

ABSTRACT

We propose and analyze StoROO, an algorithm for risk optimization on stochastic black-box functions derived from StoOO. Motivated by risk-averse decision making fields like agriculture, medicine, biology or finance, we do not focus on the mean payoff but on generic functionals of the return distribution. We provide a generic regret analysis of StoROO and illustrate its applicability with two examples: the optimization of quantiles and CVaR. Inspired by the bandit literature and black-box mean optimizers, StoROO relies on the possibility to construct confidence intervals for the targeted functional based on random-size samples. We detail their construction in the case of quantiles, providing tight bounds based on Kullback-Leibler divergence. We finally present numerical experiments that show a dramatic impact of tight bounds for the optimization of quantiles and CVaR.

研究の動機と目的

• 平均報酬ではなく、分位数やCVaRのようなリスクセンシティブな関数的を目的とする確率的ブラックボックス最適化におけるリスク回避的意思決定を扱う。
• 期待値だけでなく、報酬分布の一般関数的を最適化することを目的とした、連続入力空間へのStoOOフレームワークの拡張。
• 古典的不等式よりもタイトな発散境界を用いた、分位数およびCVaRの高確率的信頼区間の構築。
• タイトな信頼区間がシンプルレグレットの観点で最適化性能を顕著に向上させることを実験的に示す。
• 任意のリスク関数的へ適用可能な一般的なレグレット解析を提供し、特に分位数およびCVaRへの具体化を含む。

提案手法

• 平均ではなく、目的関数的（例：分位数、CVaR）の上側信頼区間（UCB）を構築することで、StoOOの楽観的最適化フレームワークをリスク関数的へ適応させる。
• Kullback-Leibler発散とChernoff境界に基づく信頼区間を用いることで、分位数推定のUCBをタイトにし、HoeffdingやBernsteinの境界に比べて精度を向上させる。
• 平易な和集合補題の代わりにピーリング論法を用いることで、信頼区間における過大評価を低減し、特にStoROO_kl-pバージョンで顕著な効果を発揮する。
• Brown（2007）およびThomas & Learned-Miller（2019）の発散不等式を応用し、CVaR最適化のためのよりタイトな信頼区間を導出する。
• 入力空間[0,1]^Dの階層的分割を実装し、UCBが大きな領域を楽観的に選択することで、最適点を効率的に探索する。
• 報酬分布のサポートに関するオракル境界を活用することで、信頼区間をさらにタイトにし、収束を加速する。

実験結果

リサーチクエスチョン

• RQ1 連続入力空間において、分位数やCVaRのようなリスク関数的を最適化できる汎用的なXアームドバンディットアルゴリズムを設計できるか？
• RQ2 Hoeffding、Bernstein、Chernoffといった異なる信頼区間構築法が、分位数およびCVaR最適化におけるシンプルレグレットにどのように影響を与えるか？
• RQ3 Kullback-Leibler発散およびChernoff不等式に基づくタイトな境界は、古典的境界と比較して最適化性能をどの程度向上させるか？
• RQ4 信頼区間構築にピーリング論法を用いることで、収束速度に測定可能な改善が得られるか？
• RQ5 報酬サポートのオーケストラル境界の利用が、リスク最適化バンディットアルゴリズムの性能にどのように影響を与えるか？

主な発見

• τ=0.9における分位数最適化では、StoROO_klおよびStoROO_kl-pがT=5,000でシンプルレグレットを10^-4にまで低下させたが、StoROO_Hは同程度の精度を得るのにT=15,000を要した。
• τ=0.1では、StoROO_HはStoROO_klおよびStoROO_kl-pの性能に追いつくことができず、同程度のレグレット水準に到達するにははるかに大きな予算が必要だった。
• CVaR最適化においては、Thomas & Learned-Miller（2019）のよりタイトな境界を用いたバージョンが、オーケストラル境界の有無に関わらず、常に他の手法を上回った。
• 報酬分布の最小値および最大値に関するオーケストラル境界の利用は、特にタイトな信頼区間と組み合わせた場合に収束を著しく加速した。
• StoROO_kl-pにおけるピーリング論法は、Φ₁では測定可能なが、わずかな改善をもたらしたが、Φ₂では顕著な効果が認められなかった。
• 数値実験により、タイトな信頼区間がシンプルレグレットを顕著に低減することが確認された。特に分布の尾部（例：τ=0.1または0.9）において顕著な改善が得られた。