[논문 리뷰] Learning to Substitute Ingredients in Recipes

Bahare Fatemi, Quentin Duval외 3명|arXiv (Cornell University)|2023. 02. 15.

Culinary Culture and TourismAgricultural and Biological Sciences인용 수 3

한 줄 요약

이 논문은 FlavorGraph에서 유래한 조리법 전용 맥락과 일반적인 재료 관계 지식을 활용하여 타당한 재료 교체를 예측하는 그래프 기반 모델인 GISMo를 소개한다. 최고의 베이스라인 대비 평균 역수 순위(MRR)에서 14% 향상되었으며, 이미지에서 조리법을 생성하는 파이프라인에 통합되어 효과적인 조리법 개인화를 가능하게 한다.

ABSTRACT

Recipe personalization through ingredient substitution has the potential to help people meet their dietary needs and preferences, avoid potential allergens, and ease culinary exploration in everyone's kitchen. To address ingredient substitution, we build a benchmark, composed of a dataset of substitution pairs with standardized splits, evaluation metrics, and baselines. We further introduce Graph-based Ingredient Substitution Module (GISMo), a novel model that leverages the context of a recipe as well as generic ingredient relational information encoded within a graph to rank plausible substitutions. We show through comprehensive experimental validation that GISMo surpasses the best performing baseline by a large margin in terms of mean reciprocal rank. Finally, we highlight the benefits of GISMo by integrating it in an improved image-to-recipe generation pipeline, enabling recipe personalization through user intervention. Quantitative and qualitative results show the efficacy of our proposed system, paving the road towards truly personalized cooking and tasting experiences.

연구 동기 및 목표

• 맥락 인식형 재료 교체를 통해 개인화된 조리법 생성에 도전하는 것.
• 실제 사용자 댓글과 조리법 데이터를 활용하여 재료 교체를 위한 표준화된 벤치마크인 Recipe1MSubs를 구축하는 것.
• 대규모 식품 그래프에서 유래한 일반적인 재료 관계와 조리법 전용 맥락을 통합하는 모델을 개발하는 것.
• 이미지에서 조리법을 생성하는 파이프라인에 교체 모듈을 통합하여 실용적인 조리법 개인화를 가능하게 하는 것.
• 완전한 지도 학습이 필요한 희귀한 원본-수정 조리법 쌍에 대한 의존도를 줄이기 위해 교체 작업과 지시어 편집을 분리하는 것.

제안 방법

• 저자들은 조리법 웹사이트의 사용자 댓글에서 유래한 재료 교체 쌍의 벤치마크 데이터셋인 Recipe1MSubs를 구축하였으며, 표준화된 훈련/검증/테스트 분할을 제공한다.
• GISMo는 공통 출현 빈도와 화학적 풍미 프로파일을 반영한 FlavorGraph에서 유래한 일반적인 재료 관계를 그래프 신경망(GNN)을 통해 인코딩한다.
• 모델은 조리법 텍스트의 맥락 임베딩과 그래프로 인코딩된 재료 표현을 학습 가능한 어텐션 메커니즘을 통해 융합한다.
• 통합된 맥락 및 관계 기반 특징에 기반해 후보 재료를 순위 매김함으로써 타당한 교체를 예측한다.
• 시스템은 역조리 파이프라인에 통합된다: 먼저 이미지가 비전 트랜스포머로 인코딩되어 재료가 예측되고, 그 다음 GISMo가 지정된 재료를 교체하며, 언어 모델이 수정된 조리법을 생성한다.
• 대규모 언어 모델의 조합성 일반화 능력을 활용하여, 수정된 조리법에 대한 완전한 지도 학습 없이도 제로샷 조리법 개인화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 조리법 맥락과 일반적인 재료 관계 지식을 융합함으로써 모델이 맥락 인식형 재료 교체를 효과적으로 예측할 수 있는가?
• RQ2 특히 보편적이지 않은, 현실적인 교체 조건 하에서 그래프 기반 모델의 성능이 강력한 베이스라인과 비교해 어떻게 되는가?
• RQ3 이미지에서 조리법을 생성하는 파이프라인에 교체 모듈을 통합하면, 원본-수정 조리법 쌍이 필요 없이도 효과적인 개인화된 조리법 생성이 가능한가?
• RQ4 조리법 전용 정보와 전역적 재료 관계 정보를 동시에 활용할 경우, 교체 정확도는 어느 정도 향상되는가?

주요 결과

• GISMo는 최고의 베이스라인 대비 평균 역수 순위(MRR)에서 14% 상대적 향상을 기록하여 맥락 정보와 관계 정보를 융합하는 것이 효과적임을 입증한다.
• 단지 조리법 맥락이나 일반 임베딩에 의존하는 베이스라인에 비해 모델이 뚜렷이 승리하며, 그래프 기반 재료 지식의 가치를 강조한다.
• 정성적 결과에서는 GISMo가 타당한 교체를 제안한다—예를 들어 빵 조리법에서 맥주를 물로 교체하는 것—그리고 후속 조리법 생성 파이프라인이 지침과 제목을 정확히 수정함을 보여준다.
• GISMo를 역조리 파이프라인에 통합함으로써, 언어 모델의 조합성 일반화 능력을 활용해 최소한의 감독으로도 개인화된 조리법 생성이 가능해진다.
• 무작위 교체는 퍼즐리티와 IoU가 높아지며, 이는 지능적인 교체가 일관된 조리법 생성에 필수적임을 확인한다.
• 시스템은 실생활 적용 가능성은 있으나, 현재는 일대일 교체만 지원하고, 훈련 데이터의 영향을 받아 서유럽 요리에 편향되어 있을 수 있다.