[논문 리뷰] The Art of Food: Meal Image Synthesis from Ingredients

Fangda Han, Ricardo Guerrero외 1명|arXiv (Cornell University)|2019. 05. 09.

Generative Adversarial Networks and Image Synthesis참고 문헌 25인용 수 4

한 줄 요약

이 논문은 주어진 조리법 재료 설명에서 사진처럼 생긴 식사 이미지를 생성하기 위한 새로운 생성 모델을 제안한다. 이 모델은 주로 어텐션 기반 재료-이미지 연관 모델과 StackGAN-v2, 사이클 일致성 정규화를 결합한다. 모델은 이미지 품질과 검색 정확도에서 최신 기술 수준(SOTA) 성능을 달성하며, 학습된 임bedding을 통해 재료와 시각적 외형을 효과적으로 분리함을 보여준다.

ABSTRACT

In this work we propose a new computational framework, based on generative deep models, for synthesis of photo-realistic food meal images from textual descriptions of its ingredients. Previous works on synthesis of images from text typically rely on pre-trained text models to extract text features, followed by a generative neural networks (GANs) aimed to generate realistic images conditioned on the text features. These works mainly focus on generating spatially compact and well-defined categories of objects, such as birds or flowers. In contrast, meal images are significantly more complex, consisting of multiple ingredients whose appearance and spatial qualities are further modified by cooking methods. We propose a method that first builds an attention-based ingredients-image association model, which is then used to condition a generative neural network tasked with synthesizing meal images. Furthermore, a cycle-consistent constraint is added to further improve image quality and control appearance. Extensive experiments show our model is able to generate meal image corresponding to the ingredients, which could be used to augment existing dataset for solving other computational food analysis problems.

연구 동기 및 목표

• 요리 과정에서 재료의 외형이 변하거나 일부 재료가 시각적으로 사라지는 등의 복잡한 요인들로 인해 재료 목록에서 현실적이고 다양한 식사 이미지를 생성하는 문제를 해결하기 위해.
• 이미지 품질을 향상시키고, 시점과 조명 등의 간섭 요인에서 재료 전용 시각적 특징을 분리하기 위해.
• 제어된 재료 조합을 가진 현실적인 합성 식사 이미지를 생성함으로써 계산 기반 음식 분석을 위한 데이터 증강을 가능하게 하기 위해.
• 준비된 식사에서 재료 조합과 그로 인한 시각적 외형 간의 복잡한 비선형 관계를 모델링하기 위해.

제안 방법

• 공통 임베딩 공간(FoodSpace) 내에서 재료 설명을 이미지 특징으로 매핑하는 어텐션 기반 요리 연관 모델을 훈련시켜, 재료가 어떤 시각적 외형을 가지는지 학습한다.
• 모델은 어텐션 모델에서 추출한 재료 특징를 조건으로 사용하는 StackGAN-v2를 생성기로 사용하여, 임의의 노이즈와 재료 임베딩에서 이미지를 합성한다.
• 생성된 이미지를 다시 재료 공간으로 인코딩함으로써 사이클 일치성 정규화를 도입하여, 재구성된 재료가 원래 입력 재료와 일치하도록 강제한다.
• 이미지 생성 및 재구성 경로에서 일관된 특징 표현을 확보하기 위해 어텐션 모델의 이미지 인코더를 생성기에서 재사용한다.
• 일반화 및 분리 성능 향상을 위해 재료를 표준화된 어휘집으로 처리하여 입력 표현을 표준화한다.
• FoodSpace 내 선형 보간을 통해 재료를 추가하거나 제거할 때 이미지 외형의 점진적 변화를 시각화한다.

실험 결과

연구 질문

• RQ1 딥 생성 모델이 재료 목록만을 조건으로 하여 시각적 외형과 공간 배치를 모두 포괄하는 사진처럼 생긴 식사 이미지를 생성할 수 있는가?
• RQ2 생성된 이미지에서 시점과 조명과 같은 간섭 요인에서 재료 전용 시각적 특징을 어떻게 분리할 수 있는가?
• RQ3 사이클 일치성 정규화가 생성된 식사 이미지의 품질과 정확도에 어느 정도 기여하는가?
• RQ4 재료가 시각적으로 모호하거나 최종 이미지에 존재하지 않는 경우(예: 소금, 기름)에도 모델이 입력 재료와 의미적으로 일치하는 이미지를 생성할 수 있는가?

주요 결과

• 제안된 모델은 머핀 서브셋에서 FID 81.13을 기록하여 StackGAN-v2의 FID 104.73을 초월하며, 더 뛰어난 이미지 품질을 보여준다.
• sala 서브셋에서 모델은 IS 66.15를 기록하여 StackGAN-v2의 58.40을 상회하여 생성된 이미지의 다양성과 품질이 뛰어나다는 것을 입증한다.
• 합성된 이미지를 사용한 요리 검색에서 중앙순위(MedR)는 제안 모델이 더 낮게 나타나(예: 쿠키의 경우 103.3), StackGAN-v2(217.5)보다 의미적 일치도가 높음을 시사한다.
• FoodSpace 내 선형 보간은 타겟 재료(예: 토마토, 파란 무지개 블루베리)의 점진적 제거를 성공적으로 시각화하여, 모델이 잠재 공간을 통해 외형을 제어할 수 있음을 확인한다.
• 동일한 랜덤 벡터를 사용하되 다른 재료를 입력한 경우 이미지의 시점과 조명이 일관되며, 동일한 재료를 사용하되 다른 랜덤 벡터를 사용한 경우 시점이 달라지는 것을 관찰하여, 콘텐츠와 스타일이 효과적으로 분리됨을 확인한다.
• 재료를 표준화된 어휘집으로 처리하는 것이 효과적인 이미지 합성과 분리에 필수적임을 모델이 입증한다.