[論文レビュー] Stochastic Rank-1 Bandits

Sumeet Katariya, Branislav Kveton+3 more|arXiv (Cornell University)|Aug 10, 2016

Advanced Bandit Algorithms Research参考文献 16被引用数 9

ひとこと要約

この論文は、観測不能な確率的値の積を最大化するために、行アームと列アームを選択する新しいオンライン学習問題、すなわち確率的ランク-1バンディットを導入する。提案された ${\tt Rank1Elim}$ アルゴリズムは、推定された行と列の報酬に基づく排除戦略を用い、$O((K+L)(1/\Delta)\log n)$ のレギュレートバウンドを達成する。これは、平均報酬が有界である条件下で $K+L$ および $1/\Delta$ に対して線形依存となる最初の結果である。

ABSTRACT

We propose stochastic rank-$1$ bandits, a class of online learning problems where at each step a learning agent chooses a pair of row and column arms, and receives the product of their values as a reward. The main challenge of the problem is that the individual values of the row and column are unobserved. We assume that these values are stochastic and drawn independently. We propose a computationally-efficient algorithm for solving our problem, which we call Rank1Elim. We derive a $O((K + L) (1 / Δ) \log n)$ upper bound on its $n$-step regret, where $K$ is the number of rows, $L$ is the number of columns, and $Δ$ is the minimum of the row and column gaps; under the assumption that the mean row and column rewards are bounded away from zero. To the best of our knowledge, we present the first bandit algorithm that finds the maximum entry of a rank-$1$ matrix whose regret is linear in $K + L$, $1 / Δ$, and $\log n$. We also derive a nearly matching lower bound. Finally, we evaluate Rank1Elim empirically on multiple problems. We observe that it leverages the structure of our problems and can learn near-optimal solutions even if our modeling assumptions are mildly violated.

研究の動機と目的

• 未観測で独立な行と列の値の積としての報酬を持つ、新しいオンライン学習問題である確率的ランク-1バンディットを形式化すること。
• 推定された報酬に基づいて、逐次的に非最適なアームを排除することで最適な行-列ペアを特定する、計算的に効率的なアルゴリズム ${\tt Rank1Elim}$ を設計すること。
• 平均の行と列の報酬がゼロから離れていると仮定したもとで、$O((K+L)(1/\Delta)\log n)$ のギャップ依存レギュレート上界を確立すること。
• 上界のタイトネスを示すために、ほぼ一致するギャップ依存のレギュレート下界を導出すること。
• ${\tt Rank1Elim}$ を合成的および実世界の問題（特にほぼランク-1のレーティング行列を含む）で実験的に評価し、わずかなモデルの不適合に対しても頑健な性能を示すこと。

提案手法

• アルゴリズムは、アクティブな行と列の集合を維持し、相手側の集合とすべての組み合わせをサンプリングすることで、各行と各列の期待報酬を推定する。
• 各排除フェーズでは、信頼区間を用いて、推定報酬がしきい値未満の行と列が削除される。
• Hoeffdingの不等式を用いて、報酬推定値の高確率的信頼性を保証するための排除しきい値を導出する。
• アルゴリズムはフェーズを繰り返し、各フェーズでアクティブなアームの集合を縮小することで、近似的に最適な解に収束する。
• レギュレート解析は、非最適なアームがどれだけの回数引かれるかを、最適と非最適なアームのギャップ $\Delta$ を用いてバウンドすることに依存する。
• 下界は、上界のスケーリングに一致するように注意深く設計されたインスタンスへのマルチアームバンディット問題への還元によって構築される。

実験結果

リサーチクエスチョン

• RQ1 観測可能なのは未観測の行と列の値の積に限られるという条件下で、計算的に効率的なアルゴリズムを、確率的ランク-1バンディット問題に対して設計できるか？
• RQ2 この問題における最適なレギュレートスケーリングは何か？ そして、実用的なアルゴリズムでそれを達成できるか？
• RQ3 ${\tt Rank1Elim}$ は、モデルの仮定がわずかに破綻している場合（例えば高ランク行列の場合）に実際にはどの程度の性能を示すか？
• RQ4 導出された上界のレギュレートはタイトか？ また、ほぼ一致する下界を確立できるか？
• RQ5 オンライン広告や位置ベースのランク付けのような実世界の応用に、このアルゴリズムは一般化可能か？ ここで報酬は独立要因の積として表わされる。

主な発見

• ${\tt Rank1Elim}$ アルゴリズムは、平均報酬が有界である条件下で、$O((K+L)(1/\Delta)\log n)$ のレギュレートバウンドを達成する。これは、$K+L$ および $1/\Delta$ に対して線形依存となる最初の結果である。
• ほぼ一致するギャップ依存の下界が導出され、上界のスケーリングが対数的要因を除いて本質的に最適であることが確認された。
• 実験的評価では、報酬行列が正確にランク-1でない場合でも、${\tt Rank1Elim}$ は近似的に最適な解を学習できることを示した。例えば、ランク5だが強いランク-1構造を示す実世界の映画レーティングデータセットでも同様の結果を得た。
• アルゴリズムのレギュレート曲線は時間とともに平坦化しており、効果的な学習が行われていることを示している。一方、UCB1などのベースラインは、アームの数が多いことから、継続的に探索を続ける。
• 理論的保証はランク-1の仮定に基づくが、${\tt Rank1Elim}$ は、それが非最適な相対的に単純な問題においても、依然として良好な性能を示す。これは、モデルの不適合に対して頑健であることを示唆している。
• 構造的かつ低ランクの設定において、レギュレートスケーリングと実用的性能の両面で、ベースラインを上回る性能を示した。