[論文レビュー] The Pareto Regret Frontier for Bandits

Tor Lattimore|arXiv (Cornell University)|Oct 30, 2015

Advanced Bandit Algorithms Research参考文献 16被引用数 11

ひとこと要約

この論文は、確率的マルチアームバンディットにおけるパレートレグレットフロンティアを特徴づけ、特定のアームを低最悪ケースレグレットにすることで他のアームのレグレットが著しく悪化することを示している。具体的には、あるアームのレグレットが $ B $ である場合、他の少なくとも1つのアームの最悪ケースレグレットは $ \Omega(nK/B) $ 以上である必要がある。これは、エキスパート設定よりもはるかに深刻な根本的トレードオフを示している。

ABSTRACT

Given a multi-armed bandit problem it may be desirable to achieve a smaller-than-usual worst-case regret for some special actions. I show that the price for such unbalanced worst-case regret guarantees is rather high. Specifically, if an algorithm enjoys a worst-case regret of B with respect to some action, then there must exist another action for which the worst-case regret is at least Ω(nK/B), where n is the horizon and K the number of actions. I also give upper bounds in both the stochastic and adversarial settings showing that this result cannot be improved. For the stochastic case the pareto regret frontier is characterised exactly up to constant factors.

研究の動機と目的

• マルチアームバンディット問題において、特定のアームに特別扱いを与えた場合の最悪ケースレグレットのトレードオフを理解すること。
• 特定のアームのレグレットを著しく削減するが、他のアームのレグレットが著しく増加しないような根本的限界を特定すること。
• 確率的バンディットの仮定下で、すべてのアームにおける達成可能なレグレットベクトルのタイトな境界を確立すること。
• これらの限界を、エキスパート設定で観察されるより有利なレグレットトレードオフと対比すること。

提案手法

• 論文は、すべての $ i $ に対して $ B_i \geq \min\left\{n, \sum_{j \neq i} \frac{n}{B_j}\right\} $ を満たすような、達成可能な最悪ケースレグレットベクトルの集合 $ \mathcal{B} \subset \mathbb{R}^K $ を定義する。
• ガウスノイズ下で、任意のバンディット戦略 $ \pi $ に対して、レグレットベクトル $ R^\pi $ が $ c_1(R^\pi + K) \in \mathcal{B} $ を満たす下界を証明する。ここで $ c_1 = 8 $、$ c_2 = 252 $ は普遍定数である。
• 不均衡UCBアルゴリズムを構築することで上界を示し、すべての $ i $ に対して $ R^\pi_i \leq c_2 B_i $ を達成することを示し、定数のオーダーまで下界と一致する。
• 上界はサブガウスノイズへと拡張され、敵対的設定における修正版Exp-γアルゴリズムにより実証されている。
• 理論的分析では、不均衡UCBの問題独立および問題依存のレグレット境界を示し、漸近的に標準UCBと同等の性能を達成することを示している。
• 実験では、不均衡MOSSと標準MOSSを比較し、アーム間のレグレットトレードオフに関する理論的予測を確認している。

実験結果

リサーチクエスチョン

• RQ1 マルチアームバンディット設定で1つのアームに優遇を与えた場合、最悪ケースレグレットにおける根本的トレードオフは何か？
• RQ2 1つのアームについて定数の最悪ケースレグレットを達成できるアルゴリズムは、他のアームのレグレットを有界に保てるか？
• RQ3 特定のアームを低レグレットにすることで、非優遇アームの最悪ケースレグレットはどのようにスケーリングするか？
• RQ4 エキスパート設定と同様に、パラメータを調整することで1人のエキスパートのレグレットを低く抑えられるほど、バンディット設定のレグレットフロンティアは柔軟か？
• RQ5 定数のオーダーまで、すべてのアームにおける達成可能なレグレットベクトルのタイトな境界は何か？

主な発見

• 任意のアーム $ i $ の最悪ケースレグレットが $ B $ より小さくならないようにするためには、他の少なくとも1つのアーム $ j $ が $ \Omega(nK/B) $ 以上のレグレットを負担しなければならない。これは強いトレードオフを示している。
• 確率的設定下で、パレートレグレットフロンティアは定数のオーダーまで正確に特徴づけられており、集合 $ \mathcal{B} $ はすべての達成可能なレグレットベクトルを捉え込んでいる。
• 任意の $ B \in \mathcal{B} $ に対して、すべての $ i $ に対して $ R^\pi_i \leq c_2 B_i $ を満たす戦略 $ \pi $ が存在する（$ c_2 = 252 $）。これは上界が定数のオーダーまでタイトであることを証明する。
• 不均衡UCBアルゴリズムは、問題独立レグレット $ O(B_{i^*} \sqrt{\log n}) $ と問題依存レグレット $ O\left(B_{i^*} \sqrt{\log n} \cdot \mathbf{1}_{\{A \neq \emptyset\}} + \sum_{i \in A} \frac{1}{\Delta_i} \log n\right) $ を達成し、漸近的に標準UCBと一致する。
• 実験により、最適アームが優遇対象の場合、不均衡アルゴリズムが標準MOSSを上回ることを確認したが、最適アームが優遇対象でない場合には著しく性能が劣化することが分かった。
• 下界はガウスノイズに依存しており、すべてのサブガウスモデル（例：ノイズなし）には成り立たないが、上界は一般のサブガウスノイズに対して成り立つ。