[论文解读] Learning the Compositional Visual Coherence for Complementary Recommendations

Zhi Li, Bo Wu+4 more|arXiv (Cornell University)|Jun 8, 2020

Image Retrieval and Classification Techniques被引用 4

一句话总结

本文提出了一种内容感知神经网络（CANN），用于建模互补商品推荐中的组合视觉连贯性——包括全局连贯性和语义焦点连贯性。通过整合多头注意力机制以捕捉全局连贯性，以及利用分层注意力机制处理颜色、纹理和混合焦点表示，CANN 在 FITB_Random 基准测试中取得了 90.7% 的准确率和 95.1% 的 MRR，优于当前最先进方法。

ABSTRACT

Complementary recommendations, which aim at providing users product suggestions that are supplementary and compatible with their obtained items, have become a hot topic in both academia and industry in recent years. %However, it is challenging due to its complexity and subjectivity. Existing work mainly focused on modeling the co-purchased relations between two items, but the compositional associations of item collections are largely unexplored. Actually, when a user chooses the complementary items for the purchased products, it is intuitive that she will consider the visual semantic coherence (such as color collocations, texture compatibilities) in addition to global impressions. Towards this end, in this paper, we propose a novel Content Attentive Neural Network (CANN) to model the comprehensive compositional coherence on both global contents and semantic contents. Specifically, we first propose a extit{Global Coherence Learning} (GCL) module based on multi-heads attention to model the global compositional coherence. Then, we generate the semantic-focal representations from different semantic regions and design a extit{Focal Coherence Learning} (FCL) module to learn the focal compositional coherence from different semantic-focal representations. Finally, we optimize the CANN in a novel compositional optimization strategy. Extensive experiments on the large-scale real-world data clearly demonstrate the effectiveness of CANN compared with several state-of-the-art methods.

研究动机与目标

• 填补在互补推荐中建模组合视觉连贯性（超越共购买关系）的空白。
• 在商品集合中同时捕捉全局视觉连贯性与细粒度语义焦点连贯性（如颜色、纹理）。
• 通过一种新颖的组合优化策略，模拟用户决策过程，提升推荐质量。
• 通过将视觉语义整合到推荐过程中，实现更准确且视觉上连贯的推荐。

提出的方法

• 提出一种全局连贯性学习（GCL）模块，利用多头注意力机制，建模商品特征之间的整体组合连贯性。
• 从不同视觉模态中生成语义焦点表示：颜色焦点、纹理焦点和混合焦点特征。
• 设计一种焦点连贯性学习（FCL）模块，采用分层注意力机制，从语义焦点表示中学习局部连贯性。
• 通过一种新颖的组合优化策略优化 CANN 模型，使其与用户对视觉兼容性的感知保持一致。
• 在大规模真实世界数据集上端到端训练并评估模型，使用准确率和 MRR 作为评估指标。
• 可视化注意力分数，以解释模型如何捕捉商品对之间的视觉连贯性（如颜色与图案的对齐）。

实验结果

研究问题

• RQ1 如何在互补推荐中有效建模超越共购买模式的视觉组合连贯性？
• RQ2 颜色、纹理和混合视觉语义在预测互补商品兼容性方面的贡献程度如何？
• RQ3 是否能够通过统一的神经网络架构整合全局与焦点视觉连贯性，从而提升推荐性能？
• RQ4 在真实世界场景中，所提出的 CANN 模型相较于最先进方法，在捕捉视觉兼容性方面表现如何？

主要发现

• CANN 在全部语义焦点组件下，在 FITB_Random 基准测试中达到 90.7% 的准确率和 95.1% 的 MRR，优于所有基线模型。
• 混合焦点连贯性学习组件表现最佳，其次为颜色焦点，最后为纹理焦点，表明颜色在视觉兼容性中起主导作用。
• 采用完整语义焦点建模的 CANN 显著优于单模态模型，尤其在 FITB_Category 数据集上表现突出，证明其能够捕捉复杂的组合关系。
• 注意力分数的可视化结果表明，CANN 正确识别出高连贯性商品对（如黑色T恤与深蓝色短裤、豹纹鞋与手镯），验证了其可解释性。
• GCL 模块有效学习了全局组合连贯性，而 FCL 模块则增强了局部语义对齐，二者协同作用，显著提升性能。
• 所提出的组合优化策略通过在两个测试集上获得更高的准确率和 MRR，证明其有效提升了模型与用户感知的一致性。