[论文解读] Collaborative Variational Bandwidth Auto-encoder for Recommender Systems

Yaochen Zhu, Zhenzhong Chen|arXiv (Cornell University)|May 17, 2021

Recommender Systems and Techniques被引用 1

一句话总结

该论文提出了一种变分带宽自编码器（VBAE），通过高斯随机变量联合建模协同过滤与用户特征，以在评分稀疏的情况下提升推荐性能。通过引入基于评分密度动态调节特征信息流的用户相关信道变量，VBAE降低了稀疏用户的不确定性，并避免了对噪声特征的过拟合，在基准数据集上实现了最先进性能。

ABSTRACT

Collaborative filtering has been widely adopted by modern recommender systems to discover user preferences based on their past behaviors. However, the observed interactions for different users are usually unbalanced, which leads to high uncertainty in the collaborative embeddings of users with sparse ratings, thereby severely degenerating the recommendation performance. Consequently, more efforts have been dedicated to the hybrid recommendation strategy where user/item features are utilized as auxiliary information to address the sparsity problem. However, since these features contain rich multimodal patterns and most of them are irrelevant to the recommendation purpose, excessive reliance on these features will make the model difficult to generalize. To address the above two challenges, we propose a VBAE for recommendation. VBAE models both the collaborative and the user feature embeddings as Gaussian random variables inferred via deep neural networks to capture non-linear similarities between users based on their ratings and features. Furthermore, VBAE establishes an information regulation mechanism by introducing a user-dependent channel variable where the bandwidth is determined by the information already contained in the observed ratings to dynamically control the amount of information allowed to be accessed from the corresponding user features. The user-dependent channel variable alleviates the uncertainty problem when the ratings are sparse while avoids unnecessary dependence of the model on noisy user features simultaneously. Codes and datasets are released at this https URL.

研究动机与目标

• 解决推荐系统中因用户评分稀疏而导致协同嵌入不确定性高的挑战。
• 缓解混合推荐模型中对噪声或无关用户特征过拟合的风险。
• 构建一个统一框架，联合建模用户-物品交互与用户特征，并实现动态信息调节。
• 通过基于评分稀疏性的自适应控制特征信息流，提升模型泛化能力与推荐性能。
• 在利用辅助用户特征与避免其负面影响之间实现平衡，尤其在低评分场景下。

提出的方法

• 使用深度神经网络将协同与用户特征嵌入建模为高斯随机变量，以捕捉非线性用户相似性。
• 引入一个用户相关的信道变量，用以控制从用户特征到嵌入空间的信息流带宽。
• 根据用户已观测评分中所含的信息量确定信道带宽，实现对稀疏性的动态适应。
• 采用变分推断公式化模型，通过正则化潜在空间优化证据下界（ELBO）。
• 使用重参数化技巧，实现使用随机梯度下降的端到端深度神经网络训练。
• 将基于评分的不确定性整合到信道机制中，在评分稀疏时抑制噪声或无关特征。

实验结果

研究问题

• RQ1 如何使推荐系统中因评分稀疏而产生的协同嵌入对不确定性更具鲁棒性？
• RQ2 在不引入噪声或过拟合的前提下，辅助用户特征能在多大程度上提升推荐性能？
• RQ3 动态信息调节机制是否能通过适应用户特定的评分稀疏性来提升模型泛化能力？
• RQ4 所提出的基于信道的信息控制机制与混合推荐模型中固定的或静态的特征加权方法相比有何差异？
• RQ5 用户相关的带宽控制对不同稀疏度水平下的推荐准确率与鲁棒性有何影响？

主要发现

• 所提出的VBAE模型在多个基准数据集上实现了最先进性能，优于现有的协同过滤与混合推荐方法。
• 动态带宽机制显著降低了稀疏用户评分下嵌入的不确定性，提升了推荐的可靠性。
• 通过调节特征信息流，VBAE避免了对噪声或无关用户特征的过度依赖，增强了模型泛化能力。
• 该模型在密集与稀疏评分场景下均表现出一致的性能提升，凸显其鲁棒性。
• 消融实验确认，用户相关的信道变量对性能至关重要，尤其在低评分场景下。
• 实验证明，该方法有效平衡了利用用户特征与抑制其噪声之间的权衡，表现为推荐准确率与稳定性的提升。