[논문 리뷰] Hierarchical Attention Network for Visually-aware Food Recommendation

Xiaoyan Gao, Fuli Feng외 6명|arXiv (Cornell University)|2018. 10. 11.

Recommender Systems and Techniques참고 문헌 54인용 수 6

한 줄 요약

이 논문은 계층적 어텐션 기반 음식 추천(HAFR)을 제안하며, 사용자-아이템 상호작용, 레시피 재료, 음식 이미지의 시각적 특징을 계층적 어텐션 기반 기계 학습 모델을 통해 동시에 모델링한다. HAFR는 대규모 음식 추천 데이터셋에서 최신 기술인 Factorization Machine 및 Visual Bayesian Personalized Ranking에 비해 평균 12% 향상된 성능을 달성한다.

ABSTRACT

Food recommender systems play an important role in assisting users to identify the desired food to eat. Deciding what food to eat is a complex and multi-faceted process, which is influenced by many factors such as the ingredients, appearance of the recipe, the user's personal preference on food, and various contexts like what had been eaten in the past meals. In this work, we formulate the food recommendation problem as predicting user preference on recipes based on three key factors that determine a user's choice on food, namely, 1) the user's (and other users') history; 2) the ingredients of a recipe; and 3) the descriptive image of a recipe. To address this challenging problem, we develop a dedicated neural network based solution Hierarchical Attention based Food Recommendation (HAFR) which is capable of: 1) capturing the collaborative filtering effect like what similar users tend to eat; 2) inferring a user's preference at the ingredient level; and 3) learning user preference from the recipe's visual images. To evaluate our proposed method, we construct a large-scale dataset consisting of millions of ratings from AllRecipes.com. Extensive experiments show that our method outperforms several competing recommender solutions like Factorization Machine and Visual Bayesian Personalized Ranking with an average improvement of 12%, offering promising results in predicting user preference for food. Codes and dataset will be released upon acceptance.

연구 동기 및 목표

• 기존 음식 추천 시스템이 레시피를 원자적 아이템으로 간주하고 사용자 선호에 영향을 미치는 다면적 요인들을 간과하는 한계를 해결하기 위해.
• 사용자-아이템 상호작용, 레시피 재료, 음식 이미지의 시각적 의미를 동시에 모델링하여 복잡한 선호 패턴을 포착하기 위해.
• 협업 필터링 효과, 재료 수준의 선호도, 이미지 기반 시각적 단서를 모두 포괄하는 통합적인 딥 러닝 프레임워크를 개발하기 위해.
• 음식 추천 연구를 위한 대규모 실세계 데이터셋을 구축하고 공개하기 위해.
• 다중 모odal 및 순차적 정보를 통합하여 더 정확하고 개인화된 음식 추천을 가능하게 하기 위해.

제안 방법

• HAFR는 사용자 상호작용 이력에 대해 먼저 개별 재료를 어텐션하고, 그 다음 사용자 상호작용 이력을 어텐션하여 재료 수준에서 사용자 선호도를 포착한다.
• 모델은 CNN 기반 특징 추출기를 사용하여 레시피 이미지를 시각적 임베딩으로 인코딩하고, 이를 재료 표현 및 상호작용 표현과 융합한다.
• 이중 어텐션 메커니즘이 적용되며, 하나는 각 재료의 중요도를 가중치로 평가하는 재료 수준 어텐션이고, 다른 하나는 과거 행동을 집계하는 사용자 상호작용 수준 어텐션이다.
• 사용자 및 아이템 표현은 협업 필터링 신호, 재료 임베딩, 시각적 특징을 어텐션 게이트를 통해 다중 모odal 융합을 통해 학습한다.
• 모델은 사용자 선호도 예측을 최적화하기 위해 순서 기반 손실 함수를 사용하여 엔드 투 엔드로 훈련된다.
• 계층적 구조 덕분에 모델은 사용자 기반 선호도에 따라 재료와 이미지의 기여도를 동적으로 조정할 수 있다.

실험 결과

연구 질문

• RQ1 사용자 상호작용 이력, 레시피 재료, 시각적 이미지 특징을 통합함으로써 음식 선호도를 효과적으로 모델링할 수 있는 방법은 무엇인가?
• RQ2 플랫하거나 비어텐션 기반 모델에 비해 계층적 어텐션은 레시피 표현에 얼마나 향상된 성능을 제공하는가?
• RQ3 재료와 시각적 특징을 별도로 모델링하는 것보다 함께 모델링할 경우 추천 성능 향상이 이루어지는가?
• RQ4 협업 필터링 신호와 콘텐츠 기반 특징(재료 및 이미지)은 사용자 선호도 예측에서 어떻게 상호작용하는가?
• RQ5 제안된 HAFR 모델은 특정 재료나 시각적 매력에 의해 영향을 받는 다양한 사용자 취향에 일반화되는가?

주요 결과

• HAFR는 구축한 대규모 데이터셋에서 Factorization Machine 및 Visual Bayesian Personalized Ranking과 같은 기준 모델에 비해 평균 12% 향상된 추천 성능을 달성한다.
• 절단 실험 결과 계층적 어텐션 메커니즘이 재료와 사용자 상호작용 간의 정보를 효과적으로 집계함으로써 성능 향상에 기여한다는 것이 확인된다.
• 음식 이미지에서 추출한 시각적 특징의 통합은 추천 정확도 향상에 명백한 기여를 하며, 음식 선택에서 시각적 의미의 중요성을 입증한다.
• 재료나 시각적 특징을 제외한 모델 변형은 성능이 크게 떨어지며, 이는 세 가지 입력 모odal이 상호 보완적인 가치를 지닌다는 것을 보여준다.
• 모델은 스파이시한 음식이나 해산물에 대한 선호도와 같은 사용자 기반 선호도를 관련 재료와 이미지 단서에 어텐션을 기울이며 효과적으로 포착한다.
• 결과는 협업 필터링 신호와 콘텐츠 기반 특징이 함께 통합될 경우, 개별적으로 사용할 경우보다 더 정확하고 개인화된 추천을 제공한다는 것을 시사한다.