[论文解读] Hierarchical Attention Network for Visually-aware Food Recommendation

Xiaoyan Gao, Fuli Feng+6 more|arXiv (Cornell University)|Oct 11, 2018

Recommender Systems and Techniques参考文献 54被引用 6

一句话总结

本文提出了一种基于层次注意力机制的食品推荐模型 HAFR（Hierarchical Attention-based Food Recommendation），该模型通过层次注意力机制联合建模用户-物品交互、食谱成分和食品图像的视觉特征。在大规模食品推荐数据集上，HAFR 相较于最先进的方法（如因子分解机和视觉贝叶斯个性化排序）实现了平均 12% 的性能提升。

ABSTRACT

Food recommender systems play an important role in assisting users to identify the desired food to eat. Deciding what food to eat is a complex and multi-faceted process, which is influenced by many factors such as the ingredients, appearance of the recipe, the user's personal preference on food, and various contexts like what had been eaten in the past meals. In this work, we formulate the food recommendation problem as predicting user preference on recipes based on three key factors that determine a user's choice on food, namely, 1) the user's (and other users') history; 2) the ingredients of a recipe; and 3) the descriptive image of a recipe. To address this challenging problem, we develop a dedicated neural network based solution Hierarchical Attention based Food Recommendation (HAFR) which is capable of: 1) capturing the collaborative filtering effect like what similar users tend to eat; 2) inferring a user's preference at the ingredient level; and 3) learning user preference from the recipe's visual images. To evaluate our proposed method, we construct a large-scale dataset consisting of millions of ratings from AllRecipes.com. Extensive experiments show that our method outperforms several competing recommender solutions like Factorization Machine and Visual Bayesian Personalized Ranking with an average improvement of 12%, offering promising results in predicting user preference for food. Codes and dataset will be released upon acceptance.

研究动机与目标

• 为解决现有食品推荐系统将食谱视为原子项目、忽视用户偏好多方面影响的局限性。
• 联合建模用户-物品交互、食谱成分和食品图像的视觉语义，以捕捉复杂的偏好模式。
• 构建一个统一的深度学习框架，以捕捉协同过滤效应、成分级别偏好以及基于图像的视觉线索。
• 构建并发布一个大规模的真实世界数据集，用于食品推荐研究。
• 通过整合多模态和序列信息，实现更准确、更个性化的食品推荐。

提出的方法

• HAFR 采用层次注意力机制，首先对单个成分进行注意力计算，然后对用户交互历史进行注意力聚合，从而在成分层面捕捉用户偏好。
• 模型使用基于 CNN 的特征提取器将食谱图像编码为视觉嵌入，随后与成分表示和交互表示进行融合。
• 应用双重注意力机制：一种作用于成分层面，用于衡量每个成分的重要性；另一种作用于用户交互层面，用于聚合用户过往行为。
• 通过注意力门控机制，联合学习用户和物品表示，融合协同过滤信号、成分嵌入和视觉特征。
• 采用端到端训练方式，使用排序损失函数优化用户偏好预测。
• 层次化结构使模型能够根据用户特定偏好，动态调整成分和图像的贡献权重。

实验结果

研究问题

• RQ1 如何通过整合用户交互历史、食谱成分和视觉图像特征，有效建模用户在食品上的偏好？
• RQ2 与平面化或非注意力模型相比，层次注意力在食谱表征方面有多大程度的提升？
• RQ3 联合建模成分和视觉特征是否能带来优于单独建模的推荐性能？
• RQ4 协同过滤效应与基于内容的特征（成分和图像）在预测用户偏好时如何相互作用？
• RQ5 所提出的 HAFR 模型是否能在多样化的用户口味中实现泛化，特别是在偏好由特定成分或视觉吸引力驱动时？

主要发现

• 在所构建的大规模数据集上，HAFR 相较于基线模型（如因子分解机和视觉贝叶斯个性化排序）实现了平均 12% 的推荐性能提升。
• 消融实验表明，层次注意力机制显著提升了模型性能，有效聚合了成分和用户交互信息。
• 食品图像的视觉特征整合带来了可测量的推荐准确率提升，凸显了视觉语义在食品选择中的重要性。
• 排除成分或视觉特征的模型变体表现出显著的性能下降，证明了三种输入模态之间的互补价值。
• 模型能有效捕捉用户特定偏好，例如对辣味或海鲜的偏好，通过关注相关成分和图像线索实现。
• 结果表明，当协同过滤信号与基于内容的特征结合时，相比单一信号，能产生更准确、更个性化的推荐。