[논문 리뷰] Learning Cross-Modal Embeddings with Adversarial Networks for Cooking Recipes and Food Images

Hao Wang, Doyen Sahoo외 3명|arXiv (Cornell University)|2019. 05. 03.

Advanced Image and Video Retrieval Techniques참고 문헌 46인용 수 12

한 줄 요약

이 논문은 요리 레시피와 음식 이미지 간의 다중모态 임베딩을 학습하기 위한 엔드 투 엔드 적대적 프레임워크인 ACME를 제안한다. 하드 샘플 마이닝, 적대적 모odal 정렬, 다중모달 번역 일관성의 조합을 통해 ACME는 Recipe1M 벤치마크에서 최신 기술 수준의 성능을 달성하여 검색 정확도와 모달 간의 의미적 정렬을 크게 향상시킨다.

ABSTRACT

Food computing is playing an increasingly important role in human daily life, and has found tremendous applications in guiding human behavior towards smart food consumption and healthy lifestyle. An important task under the food-computing umbrella is retrieval, which is particularly helpful for health related applications, where we are interested in retrieving important information about food (e.g., ingredients, nutrition, etc.). In this paper, we investigate an open research task of cross-modal retrieval between cooking recipes and food images, and propose a novel framework Adversarial Cross-Modal Embedding (ACME) to resolve the cross-modal retrieval task in food domains. Specifically, the goal is to learn a common embedding feature space between the two modalities, in which our approach consists of several novel ideas: (i) learning by using a new triplet loss scheme together with an effective sampling strategy, (ii) imposing modality alignment using an adversarial learning strategy, and (iii) imposing cross-modal translation consistency such that the embedding of one modality is able to recover some important information of corresponding instances in the other modality. ACME achieves the state-of-the-art performance on the benchmark Recipe1M dataset, validating the efficacy of the proposed technique.

연구 동기 및 목표

• 모달 분포의 이탈과 정보 손실이 성능을 저해하는 요리 레시피와 음식 이미지 간의 다중모달 검색 문제를 해결하기 위해.
• 적대적 훈련을 통해 레시피와 이미지의 이질적인 특징 분포를 정렬하여 임베딩 품질을 향상시키기 위해.
• 한 모달리티의 임베딩이 다른 모달리티의 핵심 정보를 재구성할 수 있도록 함으로써 의미 일관성을 확보하기 위해.
• 기존 트리플릿 손실의 한계(느린 수렴, 열악한 하드 음성 샘플 마이닝)를 새로운 샘플링 전략을 통해 극복하기 위해.
• 레시피와 이미지 검색을 위한 공유된 의미 공간을 학습함으로써 실용적인 건강 및 영양 애플리케이션을 가능하게 하기 위해.

제안 방법

• 수렴과 검색 성능 향상을 위해 트리플릿 손실 프레임워크 내에서 하드 샘플 마이닝 전략을 도입한다.
• 레시피와 이미지 임베딩의 주변 분포를 정렬하기 위해 적대적 손실을 활용하여 공유 공간에서 두 모달리티를 구분할 수 없도록 만든다.
• 다중모달 번역 구성 요소를 구현: 레시피 → 이미지 생성기와 이미지 → 재료 예측기로 일관성을 강제한다.
• 트리플릿 손실, 적대적 손실, 재구성 손실을 조합한 다중작업 손실을 사용하여 전체 프레임워크를 엔드 투 엔드로 훈련시킨다.
• 레시피(양방향 LSTM)와 이미지(CNN)를 인코딩하기 위해 공유 가중치를 가진 시아미즈 네트워크 아키텍처를 사용하며, 이후 공유 임베딩 레이어를 거친다.
• 훈련 안정성 향상과 일반화 성능 향상을 위해 인스턴스 수준 정규화와 특징 수준 정규화를 적용한다.

실험 결과

연구 질문

• RQ1 레시피와 음식 이미지와 같은 이질적인 모달리티의 특징 분포를 효과적으로 정렬하는 데 적대적 훈련이 유용한가?
• RQ2 트리플릿 손실 프레임워크 내에서의 하드 샘플 마이닝이 다중모달 학습에서 수렴과 검색 정확도를 향상시키는가?
• RQ3 다중모달 번역 일관성은 공유 임베딩에서 의미 정렬을 향상시키고 정보 손실을 줄이는가?
• RQ4 제안된 ACME 프레임워크는 대규모 다중모달 검색 벤치마크에서 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?
• RQ5 학습된 임베딩가 요리 이미지에서의 레시피 검색과 같은 실용적 응용을 얼마나 잘 지원하는가?

주요 결과

• ACME는 Recipe1M 벤치마크에서 최신 기술 수준의 성능을 달성하여 기존 방법들보다 다중모달 검색 정확도에서 뛰어난 성능을 보였다.
• 절단 실험을 통해 하드 샘플링, 적대적 정렬, 다중모달 일관성 모두 성능 향상에 기여하는 중요한 요소임을 확인하였다.
• 정성적 결과에서는 쿼리 이미지가 모호하거나 저해상도일지라도 실제 이미지와 시각적으로 유사한 이미지가 검색되었음을 보여주었다.
• 다중모달 번역 구성 요소는 레시피에서 신뢰할 수 있는 음식 이미지를 생성하고, 이미지에서 정확하게 재료를 예측하여 의미의 충실도를 입증하였다.
• 복잡한 요리(예: 닭고기 수프, 과일 salat)와 같이 시각적 신호가 미묘한 다양한 요리 카테고리에 대해서도 모델이 잘 일반화됨을 보였다.
• 쿼리 모달리티에 노이즈 또는 불완전한 정보가 포함되어 있을 경우(예: 누락된 재료가 있는 레시피, 흐린 이미지)에도 효과적인 검색을 가능하게 하였다.