[論文レビュー] Contextual Bandits with Latent Confounders: An NMF Approach

Rajat Sen, Karthikeyan Shanmugam+3 more|arXiv (Cornell University)|Jun 1, 2016

Advanced Bandit Algorithms Research参考文献 8被引用数 5

ひとこと要約

本稿は、潜在的交絡要因が存在する文脈的バンディット問題に対して、非負値行列分解（NMF）を用いて平均報酬行列の低ランク構造をモデル化するNMF-Banditアルゴリズムを提案する。この手法は、$ olimits\mathcal{O}(L\cdot\mathrm{poly}(m,\log K)\log T)$のレグレットバウンドを達成し、$m \ll L,K$ の条件下で、標準的な文脈的バンディットの$ olimits\mathcal{O}(LK\log T)$よりも顕著に優れている。

ABSTRACT

Motivated by online recommendation and advertising systems, we consider a causal model for stochastic contextual bandits with a latent low-dimensional confounder. In our model, there are $L$ observed contexts and $K$ arms of the bandit. The observed context influences the reward obtained through a latent confounder variable with cardinality $m$ ($m \ll L,K$). The arm choice and the latent confounder causally determines the reward while the observed context is correlated with the confounder. Under this model, the $L imes K$ mean reward matrix $\mathbf{U}$ (for each context in $[L]$ and each arm in $[K]$) factorizes into non-negative factors $\mathbf{A}$ ($L imes m$) and $\mathbf{W}$ ($m imes K$). This insight enables us to propose an $ε$-greedy NMF-Bandit algorithm that designs a sequence of interventions (selecting specific arms), that achieves a balance between learning this low-dimensional structure and selecting the best arm to minimize regret. Our algorithm achieves a regret of $\mathcal{O}\left(L\mathrm{poly}(m, \log K) \log T ight)$ at time $T$, as compared to $\mathcal{O}(LK\log T)$ for conventional contextual bandits, assuming a constant gap between the best arm and the rest for each context. These guarantees are obtained under mild sufficiency conditions on the factors that are weaker versions of the well-known Statistical RIP condition. We further propose a class of generative models that satisfy our sufficient conditions, and derive a lower bound of $\mathcal{O}\left(Km\log T ight)$. These are the first regret guarantees for online matrix completion with bandit feedback, when the rank is greater than one. We further compare the performance of our algorithm with the state of the art, on synthetic and real world data-sets.

研究の動機と目的

• 観測されない低次元の潜在的交絡要因が報酬に影響を与えるが、その影響を受ける文脈的バンディットにおけるレグレット最小化の課題に取り組むこと。
• サイズ$m \ll L,K$ の潜在的交絡要因によって誘発される平均報酬行列$\mathbf{U} \in \mathbb{R}^{L \times K}$の低ランク構造を活用すること。
• 報酬行列の背後にあるNMF構造を学習しながら、探索と活用のバランスを取るオンライン学習アルゴリズムを開発すること。
• 標準的なRIPよりも弱い条件下で理論的レグレットバウンドを確立することにより、より広範な適用可能性を実現すること。
• 行列ランクが1より大きい場合のバンディットフィードバックを伴うオンライン行列補完に対して、初めてのレグレット保証を提供すること。

提案手法

• 平均報酬行列$\mathbf{U}$を、文脈から交絡要因へのマッピングを表す非負行列$\mathbf{A} \in \mathbb{R}^{L \times m}$と、交絡要因からアームへのマッピングを表す非負行列$\mathbf{W} \in \mathbb{R}^{m \times K}$の積としてモデル化する。
• NMF-Banditアルゴリズムで$\epsilon$-グリーディ戦略を用い、アームの探索と学習済みNMF要因の活用のバランスを取る。
• 観測された文脈$S$が潜在的交絡要因$Z$のノイズ混じりの代理であるとし、報酬$Y$がアーム選択$A$と$Z$の両方に依存する因果モデルを適用する。
• 交絡要因が一様分布に従う場合、各文脈が観測される期待回数が$\Theta(T/m)$であることに着目し、構造的探索を可能にする。
• KLダイバージェンスに基づく情報理論的議論とチェルノフ境界を用いて、非最適アームの識別可能性に依拠し、レグレットの下界を導出する。
• NMF構造とバンディットレグレット理論を組み合わせた、新たな解析フレームワークを用いて、$\mathbf{A}$および$\mathbf{W}$に対するやや弱い十分条件の下でレグレットバウンドを確立する。

実験結果

リサーチクエスチョン

• RQ1 観測されない潜在的交絡要因によって報酬行列が低ランク構造を示す場合、文脈的バンディットにおいてより良いレグレットバウンドを達成できるか？
• RQ2 交絡要因に直接アクセスできない状況でも、この潜在的低ランク構造を効果的に学習し、活用できるオンライン学習アルゴリズムをどのように設計できるか？
• RQ3 行列ランクが1より大きい場合のバンディットフィードバックを伴うオンライン行列補完に対して、どのような理論的レグレット保証を確立できるか？
• RQ4 提案されたNMF要因に関する条件は、標準的な仮定（制限等長性性質：RIP）と比べてどのように異なるか？
• RQ5 この設定におけるレグレットの根本的下界は何か？ また、提案されたアルゴリズムが達成する上界と比べてどうか？

主な発見

• 提案されたNMF-Banditアルゴリズムは、$m \ll L,K$ の条件下で、標準的な文脈的バンディットの$ olimits\mathcal{O}(LK\log T)$よりも顕著に優れた$ olimits\mathcal{O}(L\cdot\mathrm{poly}(m,\log K)\log T)$のレグレットバウンドを達成する。
• レグレットバウンドは、RIPよりも弱いNMF要因に関する十分条件の下でも成立する。
• 本稿では、レグレットの下界として$ olimits\mathcal{O}(Km\log T)$を確立し、提案アルゴリズムのレグレットが対数的要因を除いてほぼ最適であることを示している。
• 解析では、KLダイバージェンスとチェルノフ境界を用いた情報理論的下界を導出する、NMF構造とバンディットレグレット理論を組み合わせた新規技術を導入している。
• アルゴリズムは合成データおよび実世界のデータセットを用いて実験的に検証され、最先端のベースラインを上回る性能を示している。
• 結果から、報酬行列における潜在的低ランク構造を活用することは、高次元の文脈的バンディット問題におけるスケーラブルで効率的なオンライン意思決定を可能にすることが示された。