[论文解读] Contextual Bandits with Latent Confounders: An NMF Approach

Rajat Sen, Karthikeyan Shanmugam+3 more|arXiv (Cornell University)|Jun 1, 2016

Advanced Bandit Algorithms Research参考文献 8被引用 5

一句话总结

该论文提出了一种用于具有潜在混淆因子的上下文Bandit问题的NMF-Bandit算法，利用非负矩阵分解（NMF）对平均奖励矩阵中的低秩结构进行建模。在满足温和的秩和一致性条件下，当 $ m \ll L,K $ 时，其遗憾界为 $\mathcal{O}(L\cdot\mathrm{poly}(m,\log K)\log T)$，显著优于传统上下文Bandit的 $\mathcal{O}(LK\log T)$。

ABSTRACT

Motivated by online recommendation and advertising systems, we consider a causal model for stochastic contextual bandits with a latent low-dimensional confounder. In our model, there are $L$ observed contexts and $K$ arms of the bandit. The observed context influences the reward obtained through a latent confounder variable with cardinality $m$ ($m \ll L,K$). The arm choice and the latent confounder causally determines the reward while the observed context is correlated with the confounder. Under this model, the $L imes K$ mean reward matrix $\mathbf{U}$ (for each context in $[L]$ and each arm in $[K]$) factorizes into non-negative factors $\mathbf{A}$ ($L imes m$) and $\mathbf{W}$ ($m imes K$). This insight enables us to propose an $ε$-greedy NMF-Bandit algorithm that designs a sequence of interventions (selecting specific arms), that achieves a balance between learning this low-dimensional structure and selecting the best arm to minimize regret. Our algorithm achieves a regret of $\mathcal{O}\left(L\mathrm{poly}(m, \log K) \log T ight)$ at time $T$, as compared to $\mathcal{O}(LK\log T)$ for conventional contextual bandits, assuming a constant gap between the best arm and the rest for each context. These guarantees are obtained under mild sufficiency conditions on the factors that are weaker versions of the well-known Statistical RIP condition. We further propose a class of generative models that satisfy our sufficient conditions, and derive a lower bound of $\mathcal{O}\left(Km\log T ight)$. These are the first regret guarantees for online matrix completion with bandit feedback, when the rank is greater than one. We further compare the performance of our algorithm with the state of the art, on synthetic and real world data-sets.

研究动机与目标

• 解决当低维潜在混淆因子影响奖励但未被观测到时，上下文Bandit问题中的遗憾最小化挑战。
• 利用由大小为 $ m \ll L,K $ 的潜在混淆因子诱导的平均奖励矩阵 $\mathbf{U} \in \mathbb{R}^{L \times K}$ 的低秩结构。
• 设计一种在线学习算法，在学习奖励矩阵的潜在NMF结构的同时，平衡探索与利用。
• 在弱于标准RIP的条件下建立理论遗憾界，以增强方法的适用范围。
• 为矩阵秩大于一的带Bandit反馈的在线矩阵补全提供首个遗憾保证。

提出的方法

• 将平均奖励矩阵 $\mathbf{U}$ 建模为两个非负矩阵 $\mathbf{A} \in \mathbb{R}^{L \times m}$ 和 $\mathbf{W} \in \mathbb{R}^{m \times K}$ 的乘积，分别表示上下文到混淆因子和混淆因子到动作的映射。
• 在NMF-Bandit算法中使用 $\epsilon$-greedy策略，以平衡对各动作的探索与对已学习NMF因子的利用。
• 应用一个因果模型，其中观测到的上下文 $S$ 是潜在混淆因子 $Z$ 的噪声代理，而奖励 $Y$ 同时依赖于动作 $A$ 和 $Z$。
• 利用在均匀混淆因子分布下，每个上下文被观测的期望次数为 $\Theta(T/m)$ 的事实，实现结构化探索。
• 使用基于KL散度的信息论论证和Chernoff不等式推导遗憾的下界，依赖于次优动作的可区分性。
• 通过一种新颖的分析框架建立遗憾界，该框架结合了NMF结构与Bandit遗憾理论，在 $\mathbf{A}$ 和 $\mathbf{W}$ 的适度充分性条件下成立。

实验结果

研究问题

• RQ1 当奖励矩阵因未观测到的潜在混淆因子而具有低秩结构时，我们能否在上下文Bandit中实现更优的遗憾界？
• RQ2 如何设计一种在线学习算法，有效学习并利用这种未直接访问的潜在低秩结构？
• RQ3 当矩阵秩大于一且存在带Bandit反馈时，为在线矩阵补全可建立何种理论遗憾保证？
• RQ4 所提出的NMF因子条件与标准假设（如受限等距性质，RIP）相比如何？
• RQ5 在此设置下的遗憾的理论下界是什么？其与所提算法实现的上界相比如何？

主要发现

• 所提出的NMF-Bandit算法实现了 $\mathcal{O}(L\cdot\mathrm{poly}(m,\log K)\log T)$ 的遗憾界，当 $ m \ll L,K $ 时，显著优于标准上下文Bandit的 $\mathcal{O}(LK\log T)$。
• 该遗憾界在NMF因子的温和充分性条件下成立，其条件弱于著名的受限等距性质（RIP）。
• 论文建立了 $\mathcal{O}(Km\log T)$ 的遗憾下界，表明所提算法的遗憾在对数因子内近乎最优。
• 分析引入了一种新颖的技术，结合NMF结构与Bandit遗憾理论，利用KL散度和Chernoff不等式推导出信息论下界。
• 该算法在合成数据集和真实世界数据集上进行了实验验证，性能优于当前最先进的基线方法。
• 结果表明，利用奖励矩阵中的潜在低秩结构，可在高维上下文Bandit问题中实现可扩展且高效的在线决策。