[论文解读] Adversarial Training Towards Robust Multimedia Recommender System

Jinhui Tang, Xiaoyu Du+4 more|arXiv (Cornell University)|Sep 19, 2018

Stochastic Gradient Optimization Techniques参考文献 46被引用 8

一句话总结

本文提出对抗性多媒体推荐（AMR），一种新颖的框架，通过训练模型抵御图像特征上的微小、有针对性的扰动，提升基于深度学习的多媒体推荐系统的鲁棒性。通过联合优化推荐模型与基于梯度的对抗器，AMR 在图像推荐和产品推荐任务中同时提升了鲁棒性与推荐准确率。

ABSTRACT

With the prevalence of multimedia content on the Web, developing recommender solutions that can effectively leverage the rich signal in multimedia data is in urgent need. Owing to the success of deep neural networks in representation learning, recent advance on multimedia recommendation has largely focused on exploring deep learning methods to improve the recommendation accuracy. To date, however, there has been little effort to investigate the robustness of multimedia representation and its impact on the performance of multimedia recommendation. In this paper, we shed light on the robustness of multimedia recommender system. Using the state-of-the-art recommendation framework and deep image features, we demonstrate that the overall system is not robust, such that a small (but purposeful) perturbation on the input image will severely decrease the recommendation accuracy. This implies the possible weakness of multimedia recommender system in predicting user preference, and more importantly, the potential of improvement by enhancing its robustness. To this end, we propose a novel solution named Adversarial Multimedia Recommendation (AMR), which can lead to a more robust multimedia recommender model by using adversarial learning. The idea is to train the model to defend an adversary, which adds perturbations to the target image with the purpose of decreasing the model's accuracy. We conduct experiments on two representative multimedia recommendation tasks, namely, image recommendation and visually-aware product recommendation. Extensive results verify the positive effect of adversarial learning and demonstrate the effectiveness of our AMR method. Source codes are available in https://github.com/duxy-me/AMR.

研究动机与目标

• 研究深度多媒体推荐系统在视觉特征对抗扰动下的脆弱性。
• 证明微小且人眼难以察觉的图像扰动可严重降低最先进的模型（如 VBPR）的推荐性能。
• 开发一种可泛化的鲁棒性增强方法，且不以牺牲推荐准确率为代价。
• 将对抗学习从通用深度学习扩展至富含视觉信号的多媒体推荐特定场景。
• 为通过在视觉输入上进行对抗训练来改进任意基于内容的推荐系统提供蓝图。

提出的方法

• 通过快速梯度符号法（FGSM）在输入图像上生成扰动，以最大化模型预测误差，应用对抗训练。
• 联合优化模型，以最小化推荐损失，同时抵御这些对抗样本。
• 将对抗学习集成到视觉贝叶斯个性化排序（VBPR）模型中，通过在损失函数中引入对抗样本进行修改。
• 扰动直接应用于深度图像特征（如 ResNet-50）而非潜在嵌入，聚焦于输入级别的鲁棒性。
• 训练过程交替更新推荐模型与对抗器，模拟极小化-极大化博弈以提升鲁棒性。
• 该方法具有通用性，可通过相应调整损失函数，适配其他点对点或成对推荐模型。

实验结果

研究问题

• RQ1 最先进的多媒体推荐系统对图像输入上的微小、有针对性的扰动有多脆弱？
• RQ2 对抗训练能否在不降低推荐准确率的前提下提升深度多媒体推荐系统的鲁棒性？
• RQ3 在图像特征上进行对抗学习是否能带来更稳定和泛化能力更强的表示？
• RQ4 所提出的 AMR 框架与标准训练及推荐领域内现有对抗方法相比表现如何？
• RQ5 对抗训练范式能否有效扩展至依赖丰富视觉特征的基于内容的推荐系统？

主要发现

• 人类难以察觉的微小对抗扰动（ε = 0.007）可显著降低 VBPR 的排序性能，导致正样本图像被排在负样本之后。
• 所提出的 AMR 框架显著提升了鲁棒性，在对抗攻击下仍能保持高推荐准确率。
• 在两个真实世界数据集（Pinterest 和产品推荐数据集）上的大量实验表明，AMR 在准确率与鲁棒性方面均优于标准 VBPR 及其他基线模型。
• 对抗训练过程带来了更稳定和泛化能力更强的表示，不同评估指标下均表现出一致的性能提升。
• 该方法在不同推荐模型上均有效，证明其通用性及对各类基于内容推荐框架的适应能力。
• 源代码已公开于 https://github.com/duxy-me/AMR，支持可复现性，并推动对抗性多媒体推荐领域的进一步研究。