[論文レビュー] Generalized Risk-Aversion in Stochastic Multi-Armed Bandits

A.M. Zimin, Rasmus Ibsen-Jensen+1 more|arXiv (Cornell University)|May 5, 2014

Advanced Bandit Algorithms Research参考文献 12被引用数 20

ひとこと要約

本稿は、平均と分散の任意関数として定義されるリスク指標を用いた一般化されたリスク回避的マルチアームバンディット枠組みを導入する。アームの価値は平均のみではなく、$\varphi(\mu, \sigma^2)$ として定義される。$\varphi$-LCB および $\varphi$-LCB2 アルゴリズムを提案し、連続的リスク関数に対して対数的レジーットバウンドを達成し、弱い条件下で不連続ケースに対しても対処可能であり、リスク回避的バンディットにおける学習の根本的限界を確立する。

ABSTRACT

We consider the problem of minimizing the regret in stochastic multi-armed bandit, when the measure of goodness of an arm is not the mean return, but some general function of the mean and the variance.We characterize the conditions under which learning is possible and present examples for which no natural algorithm can achieve sublinear regret.

研究の動機と目的

• リスク指標として平均と分散の一般関数を用いたリスク回避的マルチアームバンディットの形式化を図り、平均・分散比やシャープレシオといった固定リスク指標にとどまらない枠組みを提供すること。
• このような一般化されたリスク回避的設定において、サブ線形レジーットが達成可能な条件を同定すること。
• 連続的リスク関数に対して対数的レジーットを達成するアルゴリズムを設計し、弱い仮定のもとで不連続ケースに対処できるようにすること。
• 特定の不連続リスク関数に対して、自然な楽観主義に基づくアルゴリズムがサブ線形レジーットを達成できないことを示し、理論的限界を確立すること。

提案手法

• アームの価値がその平均 $\mu$ と分散 $\sigma^2$ の関数 $\varphi(\mu, \sigma^2)$ として定義される一般化されたリスク回避的バンディット問題を提唱。
• $\varphi$-LCB アルゴリズムを導入。これは、上界付きのUCB（Upper Confidence Bound）の変種であり、平均と分散の両方の信頼区間を用いて探索と活用のバランスを取る。
• Hoeffding型不等式を用いて、標本平均および2次モーメント推定値の高確率集中を評価し、信頼区間を構築する。
• 不連続リスク関数の場合、探索を推定値が十分に正確になるまで延期することで、不連続点付近でのサンプリングを回避する $\varphi$-LCB2 を導入。
• 信頼区間が十分に狭くなるように、新たな距離関数 $d_\Omega(\widehat{\mu}_{i,t}, \widehat{\sigma}^2_{i,t})$ を用いる。
• レジーット分解 $\mathcal{R}_n = \sum_{i:\Delta_i > 0} \Delta_i T_i(n)$ を用い、信頼幅の逆関数を用いて、引き抜き回数 $T_i(n)$ の上限を導出する。

実験結果

リサーチクエスチョン

• RQ1 リスク関数 $\varphi(\mu, \sigma^2)$ にどのような条件が課されると、確率的マルチアームバンディットでサブ線形レジーットが達成可能か？
• RQ2 $\varphi$ が不連続である場合、不確実性に対する楽観主義に基づくアルゴリズムがサブ線形レジーットを達成できるか？
• RQ3 リスク関数の構造（連続性、微分可能性など）は、リスク回避的バンディットにおける学習の可能性にどのように影響するか？
• RQ4 対数的レジーットを達成できる最小の仮定は何か？ また、適切な変更を加えたアルゴリズムで、その条件を満たすか？
• RQ5 同一のアルゴリズムフレームワークが、連続的および不連続的リスク測度を適切な修正を加えて同時に扱えるか？

主な発見

• 連続的リスク関数 $\varphi$ 全体に対して、$\varphi$-LCB アルゴリズムは対数的レジーットを達成でき、レジーットは $\mathcal{R}_n \leq \sum_{i:\Delta_i > 0} \left( \frac{18 \ln(1/\delta)}{(\varphi^{-1}(\Delta_i/2))^2} + 1 \right) \Delta_i$ で有界である。
• 不連続リスク関数の場合、自然な楽観主義に基づくアルゴリズムはサブ線形レジーットを達成できないことが示され、学習の根本的障壁を特定した。
• $\varphi$-LCB2 アルゴリズムは、どのアームの真の $(\mu_i, \sigma_i^2)$ も $\varphi$ の不連続点に丁度一致しないという弱い仮定のもとで、対数的レジーットを達成でき、レジーットは $\mathcal{R}_n \leq \sum_{i:\Delta_i > 0} \left( 162 e_i^{-2} \ln(1/\delta) + \frac{18 \ln(1/\delta)}{(\varphi_i^{-1}(\Delta_i/2))^2} + 1 \right) \Delta_i$ で有界である。
• 本稿では、連続性がこの一般化されたリスク回避的フレームワークにおけるサブ線形レジーットの達成可能性にとって重要な条件であることを確立した。
• 平均・分散比やシャープレシオバンディットの先行研究を一般化し、任意の連続的リスク関数を許容しつつ、対数的レジーット保証を維持した。
• 分析から、リスク測度のわずかな不連続性ですら、標準的な楽観主義ベースのアルゴリズムの有効性を無効にすることが判明し、アルゴリズムの再設計が不可避であることが示された。