[論文レビュー] Bilinear Bandits with Low-rank Structure

Kwang-Sung Jun, Rebecca Willett+2 more|arXiv (Cornell University)|Jan 8, 2019

Advanced Bandit Algorithms Research参考文献 38被引用数 13

ひとこと要約

この論文は、未知の低ランク行列 $Θ^*$ の二重特徴ベクトルのバイナリー関数によって定義される報酬を持つ低ランク構造を有する二重バンドイット問題を導入する。提案されたESTRアルゴリズムは、$Θ^*$ の部分空間を最初に探索し、その後正則化線形バンドイット手法（LowOFUL）を用いてそれを精緻化することで、$;(Θ^*)$ のレグレットバウンドを $;((d_1+d_2)^{3/2}√{rT})$ に達成する。これは、単純な線形バンドイット還元による $;(d_1d_2√{T})$ のレグレットバウンドを改善するものである。

ABSTRACT

We introduce the bilinear bandit problem with low-rank structure in which an action takes the form of a pair of arms from two different entity types, and the reward is a bilinear function of the known feature vectors of the arms. The unknown in the problem is a $d_1$ by $d_2$ matrix $\mathbfΘ^*$ that defines the reward, and has low rank $r \ll \min\{d_1,d_2\}$. Determination of $\mathbfΘ^*$ with this low-rank structure poses a significant challenge in finding the right exploration-exploitation tradeoff. In this work, we propose a new two-stage algorithm called "Explore-Subspace-Then-Refine" (ESTR). The first stage is an explicit subspace exploration, while the second stage is a linear bandit algorithm called "almost-low-dimensional OFUL" (LowOFUL) that exploits and further refines the estimated subspace via a regularization technique. We show that the regret of ESTR is $\widetilde{\mathcal{O}}((d_1+d_2)^{3/2} \sqrt{r T})$ where $\widetilde{\mathcal{O}}$ hides logarithmic factors and $T$ is the time horizon, which improves upon the regret of $\widetilde{\mathcal{O}}(d_1d_2\sqrt{T})$ attained for a naïve linear bandit reduction. We conjecture that the regret bound of ESTR is unimprovable up to polylogarithmic factors, and our preliminary experiment shows that ESTR outperforms a naïve linear bandit reduction.

研究の動機と目的

• 報酬行列 $\mathbf{\Theta}^*$ が低ランクである二重バンドイット問題における探索と活用のトレードオフを扱う。
• 単純な線形バンドイット還元と比較して、レグレットを低減するための低ランク構造を効率的に活用するアルゴリズムを設計すること。
• 全行列サイズ $d_1d_2$ ではなく、真の問題の複雑さを反映する $\sqrt{rT}$ に依存する理論的レグレットバウンドを提供すること。
• 未知の低ランク行列の部分空間を最初に推定し、その後正則化線形バンドイット手法を用いてそれを精緻化する二段階手法を開発すること。

提案手法

• 低ランク構造を有する二重バンドイット問題を扱う二段階アルゴリズム「探索-部分空間-次に精緻化（ESTR）」を提案する。
• 第一段階では、未知行列 $\mathbf{\Theta}^*$ の低次元部分空間を明示的に探索して推定する。
• 第二段階では、推定された部分空間を活用するための新しい正則化線形バンドイットアルゴリズム「ほぼ低次元OFUL」（LowOFUL）を採用する。この手法は、特化した正則化行列 $\bm{\Lambda}$ を用いる。
• 正則化行列 $\bm{\Lambda}$ は、推定された部分空間を強調し、高次元におけるノイズを抑制することで、レグレットを最小化するように設計されている。
• アルゴリズムは、$\mathbf{\Theta}^*$ がランク $r \ll \min\{d_1, d_2\}$ を持つことを利用しており、全行列推定の $d_1d_2$ 次元の複雑さを回避できる。
• 理論的分析により、LowOFUL が $d_1 + d_2$ の次元の和とランク $r$ に依存するレグレットバウンドを達成することが示されている。

実験結果

リサーチクエスチョン

• RQ1 単純な線形バンドイット還元と比較して、著しく良いレグレットを達成できるか、低ランク報酬構造を有する二重バンドイット問題は解けるか？
• RQ2 未知の低ランク行列の部分空間を最初に探索し、その後に効率的に精緻化する二段階アルゴリズムを設計することは可能か？
• RQ3 低ランク構造を有する二重バンドイット問題に対して達成可能な最適なレグレットバウンドは何か？ また、実用的なアルゴリズムでそれを達成できるか？
• RQ4 部分空間の知識を活用する正則化は、部分空間を事前に知らない状況でも、バンディット設定で効果的に利用可能か？

主な発見

• ESTRアルゴリズムは、$\widetilde{\mathcal{O}}((d_1 + d_2)^{3/2}\sqrt{rT})$ のレグレットバウンドを達成する。これは、単純な線形バンドイット還元による $\widetilde{\mathcal{O}}(d_1d_2\sqrt{T})$ のバウンドを改善するものである。
• レグレットバウンドは $\sqrt{rT}$ に依存しており、全行列サイズ $d_1d_2$ ではなく、低ランク問題の真の複雑さを反映している。
• 提案されたLowOFULアルゴリズムは、適切に設計された正則化行列 $\bm{\Lambda}$ を用いて推定された部分空間を効果的に活用し、高次元設定でのレグレットを低減する。
• 理論的分析により、レグレットバウンドは多項式対数因子を除いて改善不能であることが示されており、ESTRがほぼ最適であると考えられる。
• 予備実験では、ESTRが実際の応用において単純な線形バンドイット還元を上回ることを示している。
• 本手法は、薬物-タンパク質相互作用予測、オンラインデートマッチング、ファッションのペアリングなど、二つのエンティティタイプが共同で報酬を決定する実世界の推薦システムに適用可能である。