[論文レビュー] Stochastic Low-Rank Bandits

Branislav Kveton, Csaba Szepesvári+4 more|arXiv (Cornell University)|Dec 13, 2017

Advanced Bandit Algorithms Research参考文献 11被引用数 17

ひとこと要約

この論文は、観測されていない潜在的要因を有する低ランク行列の最大要素を同定するための、新しい確率的低ランクバンディット枠組みを導入する。${\tt LowRankElim}$アルゴリズムを提案し、行と列の$d$-部分集合に対する構造的除去を用いることで、$KL$に依存しない$O((K+L)\operatorname{poly}(d)\Delta^{-1}\log n)$のレグレットバウンドを達成する。これは、この設定において初めての結果である。

ABSTRACT

Many problems in computer vision and recommender systems involve low-rank matrices. In this work, we study the problem of finding the maximum entry of a stochastic low-rank matrix from sequential observations. At each step, a learning agent chooses pairs of row and column arms, and receives the noisy product of their latent values as a reward. The main challenge is that the latent values are unobserved. We identify a class of non-negative matrices whose maximum entry can be found statistically efficiently and propose an algorithm for finding them, which we call LowRankElim. We derive a $\DeclareMathOperator{\poly}{poly} O((K + L) \poly(d) Δ^{-1} \log n)$ upper bound on its $n$-step regret, where $K$ is the number of rows, $L$ is the number of columns, $d$ is the rank of the matrix, and $Δ$ is the minimum gap. The bound depends on other problem-specific constants that clearly do not depend $K L$. To the best of our knowledge, this is the first such result in the literature.

研究の動機と目的

• 観測されていない潜在的行および列要因を有する確率的低ランク行列において、最大要素を同定する課題に対処すること。
• 非負の低ランク構造の下で、統計的にかつ計算的に効率的な学習アルゴリズムを設計すること。
• レグレットバウンドが$n$に関して対数的にスケーリングされ、最小ギャップ$\Delta$に関して逆数としてスケーリングされ、$KL$の積に依存しないようにすること。
• 非一貫性仮定を仮定しない、確率的低ランク行列補完における最初のギャップ依存レグレットバウンドを確立すること。

提案手法

• アルゴリズムは、すべての行および列要因が$d$個の基本要因の凸結合として表現可能であり、'ホットトピックス'構造を形成すると仮定している。
• 各段階で、${\tt LowRankElim}$は、潜在的値の積をサンプリングすることで、残存するすべての行と列の$d$-部分集合を探索し、期待報酬を推定する。
• 統計的信頼区間を用いて、反復的に非最適な$d$-部分集合の行と列を除外し、最も有望な候補に焦点を当てる。
• 報酬が潜在的行および列値の積であるという事実を活用して、$d$-部分集合ペアの期待報酬を繰り返しサンプリングによって推定する。
• 推定報酬の信頼区間を維持し、最も良い観測報酬から著しく低いと見なされる$d$-部分集合ペアを除外する。
• 分析では、最適な部分集合と非最適な部分集合の報酬の最小差として定義される、新しいギャップの概念を用いる。これにより、レグレットの厳密な制御が可能になる。

実験結果

リサーチクエスチョン

• RQ1 観測されていない潜在的要因を有する確率的低ランク行列において、最大要素を効率的に同定できるか？
• RQ2 非負の低ランク構造の下で、計算的かつサンプル効率の良いアルゴリズムは存在するか？
• RQ3 レグレットバウンドが$KL$、すなわち行と列の個数の積に依存しないように導出可能か？
• RQ4 この設定において統計的効率性を達成するために、潜在的要因に必要な構造的仮定は何か？

主な発見

• 提案された${\tt LowRankElim}$アルゴリズムは、$O((K+L)\operatorname{poly}(d)\Delta^{-1}\log n)$のレグレットバウンドを達成する。これは、確率的低ランクバンディットにおいて初めての結果である。
• レグレットバウンドは$K$、$L$、$d$、$\Delta$、および$n$の対数的項にのみ依存し、$KL$に明示的な依存性がない。
• ランク$d$が小さい、例えば$d \leq 4$の場合、アルゴリズムは計算的およびサンプル的に効率的である。
• 分析では行列に対する非一貫性仮定を必要とせず、これは標準的な行列補完とは異なる点である。
• 鍵となる洞察は、最適な要素が$d$個の基本行および列要因の凸包内に存在することであり、これにより構造的除去が可能になる。
• 本論文は、最適な部分集合と非最適な部分集合の報酬の差を捉える新しいギャップの概念を特定した。これにより、厳密なレグレット制御が可能になる。