[论文解读] Low-rank Bandits with Latent Mixtures

Aditya Gopalan, Odalric-Ambrym Maillard+1 more|arXiv (Cornell University)|Sep 6, 2016

Advanced Bandit Algorithms Research参考文献 14被引用 15

一句话总结

该论文提出了一种新颖的上下文多臂老虎机算法，用于推荐系统，其特点为存在用户偏好和项目奖励的双重不确定性，通过将用户建模为C个代表性类别的潜在混合体来解决。该方法结合了OFUL与一种鲁棒张量幂法，实现了在T轮交互后， regret界为$\tilde{O}(C\sqrt{BT})$，其中B为用户数量，适用于部分反馈和低秩奖励结构的情形。

ABSTRACT

We study the task of maximizing rewards from recommending items (actions) to users sequentially interacting with a recommender system. Users are modeled as latent mixtures of C many representative user classes, where each class specifies a mean reward profile across actions. Both the user features (mixture distribution over classes) and the item features (mean reward vector per class) are unknown a priori. The user identity is the only contextual information available to the learner while interacting. This induces a low-rank structure on the matrix of expected rewards r a,b from recommending item a to user b. The problem reduces to the well-known linear bandit when either user or item-side features are perfectly known. In the setting where each user, with its stochastically sampled taste profile, interacts only for a small number of sessions, we develop a bandit algorithm for the two-sided uncertainty. It combines the Robust Tensor Power Method of Anandkumar et al. (2014b) with the OFUL linear bandit algorithm of Abbasi-Yadkori et al. (2011). We provide the first rigorous regret analysis of this combination, showing that its regret after T user interactions is $\ ilde O(C\\sqrt{BT})$, with B the number of users. An ingredient towards this result is a novel robustness property of OFUL, of independent interest.

研究动机与目标

• 解决在用户与项目特征均事先未知、且用户交互受限的在线推荐挑战。
• 将用户建模为C个潜在类别上的随机混合体，每个类别在项目上具有不同的奖励特征，从而形成低秩奖励矩阵。
• 设计一种老虎机算法，能够从部分反馈（老虎机式反馈）中同时学习用户类别混合分布与项目奖励特征。
• 首次为该双重不确定性设定下使用潜在混合模型的老虎机算法提供严谨的遗憾分析。
• 证明OFUL在由噪声且部分观测得到的协方差矩阵估计下仍具有鲁棒性。

提出的方法

• 将OFUL线性老虎机算法与鲁棒张量幂法（RTP）的一种变体结合，以处理低秩结构和部分反馈。
• 采用重要性采样方案，从未完全观测的单动作反馈中估计奖励的二阶与三阶矩。
• 应用子程序（算法1）从噪声且部分观测的数据中恢复项目侧特征（每种类别的潜在奖励向量）。
• 使用OFUL维护用户偏好向量的置信椭球，并通过正则化确保协方差矩阵的可逆性。
• 通过证明在矩张量估计误差下，估计的协方差矩阵仍保持良好条件性，从而确保OFUL的鲁棒性。
• 利用高概率浓度不等式与矩阵扰动理论，控制用户与项目特征估计误差。

实验结果

研究问题

• RQ1 在用户偏好与项目奖励特征均未知且潜藏的推荐系统中，能否设计出一种老虎机算法实现低遗憾？
• RQ2 当仅能获得部分反馈（每次交互仅一个奖励）时，如何利用奖励矩阵的低秩结构？
• RQ3 在双重不确定性下，结合OFUL与基于张量的估计方法的混合算法的遗憾性能如何？
• RQ4 当协方差矩阵由噪声且老虎机级别的观测估计时，OFUL算法能否维持遗憾保证？
• RQ5 在存在估计误差的情况下，什么条件能确保估计协方差矩阵的可逆性与稳定性？

主要发现

• 所提出的算法在T轮用户交互后，实现了$\tilde{O}(C\sqrt{BT})$的遗憾界，其中B为用户数量，C为潜在用户类别数。
• 该遗憾界在每个用户仅进行少量交互的假设下成立，且无需事先知晓用户或项目特征。
• 首次建立了OFUL的一种新颖鲁棒性特性，表明即使协方差矩阵存在估计误差，其仍能维持遗憾保证。
• 在所提出的 importance sampling 方案下，通过RTP方法恢复潜在项目奖励向量被证明是一致的。
• 当初始交互数$n_0$满足涉及$A$、$C$、$\delta$以及真实奖励矩阵谱性质的特定下界时，算法性能在高概率$1 - \delta$下得到保证。
• 分析表明，当观测数超过与真实矩阵条件数和谱间隙相关的阈值时，估计协方差矩阵以高概率保持可逆。