[论文解读] A Generic Coordinate Descent Framework for Learning from Implicit Feedback

Immanuel Bayer, Xiangnan He+2 more|arXiv (Cornell University)|Nov 15, 2016

Tensor decomposition and applications参考文献 23被引用 5

一句话总结

本文提出了一种用于从推荐系统中隐式反馈高效学习的通用坐标下降（CD）框架，即iCD。通过识别k-可分性作为高效CD优化的充分条件，作者实现了对海量未观察到的交互行为的精确、无需采样的计算——显著提升了传统CD的训练速度，并使复杂模型（如因子分解机和Tucker分解）的可扩展训练成为可能。

ABSTRACT

In recent years, interest in recommender research has shifted from explicit feedback towards implicit feedback data. A diversity of complex models has been proposed for a wide variety of applications. Despite this, learning from implicit feedback is still computationally challenging. So far, most work relies on stochastic gradient descent (SGD) solvers which are easy to derive, but in practice challenging to apply, especially for tasks with many items. For the simple matrix factorization model, an efficient coordinate descent (CD) solver has been previously proposed. However, efficient CD approaches have not been derived for more complex models. In this paper, we provide a new framework for deriving efficient CD algorithms for complex recommender models. We identify and introduce the property of k-separable models. We show that k-separability is a sufficient property to allow efficient optimization of implicit recommender problems with CD. We illustrate this framework on a variety of state-of-the-art models including factorization machines and Tucker decomposition. To summarize, our work provides the theory and building blocks to derive efficient implicit CD algorithms for complex recommender models.

研究动机与目标

• 解决在大规模隐式反馈数据上优化复杂推荐模型时的计算挑战，其中标准方法如SGD存在收敛问题，而传统CD则不可行。
• 识别一种结构特性——k-可分性——以实现对所有未观察到的（上下文，项目）对的高效坐标下降优化。
• 开发一种通用框架iCD，用于推导适用于多种复杂模型（包括因子分解机和张量分解）的高效CD求解器。
• 证明k-可分模型可精确计算隐式正则化项，而无需遍历所有未观察到的（上下文，项目）对，从而消除采样需求。
• 为SGD方法（如BPR）提供一种实用且可扩展的替代方案，尤其适用于高维项目空间或复杂特征交互的模型。

提出的方法

• 将隐式反馈学习重新表述为最小化一个廉价的显式损失项，加上一个针对所有未观察到的（上下文，项目）对的昂贵隐式正则化项。
• 引入k-可分性的概念：一种模型结构，使得隐式正则化项可通过将梯度计算分解为可分离分量而高效计算。
• 推导出一种通用的iCD算法，可在不显式遍历所有未观察到的对的情况下，计算每个变量（如用户或项目因子）的梯度和更新。
• 利用因子分解模型（如矩阵分解、因子分解机）的代数特性，将隐式正则化项表达为适合闭式计算的形式。
• 通过验证其k-可分性并推导相应的更新规则，将该框架应用于推导MF、FM、PARAFAC和Tucker分解的高效求解器。
• 利用该框架构建灵活、特征丰富的模型（如包含用户属性和序列特征的FM），并使用iCD高效训练。

实验结果

研究问题

• RQ1 坐标下降能否被高效应用于复杂推荐模型的隐式反馈学习，而不仅限于简单的矩阵分解？
• RQ2 何种模型结构特性可使在不采样的情况下，对所有未观察到的（上下文，项目）对实现高效的坐标下降优化？
• RQ3 对于高维项目空间的模型，如何精确且高效地计算隐式反馈学习中的隐式正则化项？
• RQ4 所提出的iCD框架在训练速度和模型质量方面，与传统CD和SGD基线相比，性能提升程度如何？
• RQ5 该框架能否推广至推导因子分解机和张量分解等多样化模型的高效求解器？

主要发现

• iCD框架通过利用k-可分性，实现了对隐式反馈问题的精确、无需采样的优化，消除了负采样或近似计算的需求。
• 传统坐标下降求解器在大规模隐式反馈场景下因计算成本过高而不可行——iCD相较标准CD将训练时间减少了高达四个数量级。
• 在一个包含70,000个项目的数据集上，传统CD每轮训练需数周，而iCD仅用数分钟即完成，展现出实际可扩展性。
• iCD-FM模型在所有特征（属性、历史视频、用户ID）均启用的情况下，在冷启动、离线和即时推荐等各种评估场景中均表现最佳。
• 在冷启动场景下，具备属性感知的iCD-FM模型（iCD-FM A）相较流行度基线实现2倍性能提升，而MF和Coview模型则无法超越流行度基线。
• 该框架支持FM模型中灵活的特征工程，将用户属性、序列行为和用户ID相结合，可在即时推荐场景中实现更优性能。