[논문 리뷰] Cross-Modal Food Retrieval: Learning a Joint Embedding of Food Images and Recipes with Semantic Consistency and Attention Mechanism

Hao Wang, Doyen Sahoo외 5명|arXiv (Cornell University)|2020. 03. 09.

Advanced Image and Video Retrieval Techniques참고 문헌 36인용 수 9

한 줄 요약

이 논문은 음식 이미지와 레시피 간의 교차 모달 음식 검색을 위한 새로운 프레임워크인 SCAN을 제안한다. 이 프레임워크는 의미 일致성 손실과 자기주의 주의 메커니즘을 사용하여 음식 이미지와 레시피의 공동 임베딩을 학습한다. 이미지와 레시피의 의미 확률을 정렬하고 구분 가능한 재료 및 조리 지침을 강조함으로써, SCAN은 클래스 내 분산을 크게 줄이고 Recipe1M 데이터셋에서 검색 정확도를 향상시켜 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Food retrieval is an important task to perform analysis of food-related information, where we are interested in retrieving relevant information about the queried food item such as ingredients, cooking instructions, etc. In this paper, we investigate cross-modal retrieval between food images and cooking recipes. The goal is to learn an embedding of images and recipes in a common feature space, such that the corresponding image-recipe embeddings lie close to one another. Two major challenges in addressing this problem are 1) large intra-variance and small inter-variance across cross-modal food data; and 2) difficulties in obtaining discriminative recipe representations. To address these two problems, we propose Semantic-Consistent and Attention-based Networks (SCAN), which regularize the embeddings of the two modalities through aligning output semantic probabilities. Besides, we exploit a self-attention mechanism to improve the embedding of recipes. We evaluate the performance of the proposed method on the large-scale Recipe1M dataset, and show that we can outperform several state-of-the-art cross-modal retrieval strategies for food images and cooking recipes by a significant margin.

연구 동기 및 목표

• 이미지와 레시피 간의 교차 모달 음식 검색에서 큰 클래스 내 분산과 작은 클래스 간 분산 문제를 해결하기 위해.
• 잡음이 있거나 일반적인 재료와 지침이 존재하는 상황에서도 레시피에 대한 구분 가능한 표현 학습을 향상시키기 위해.
• 효율적인 레시피 임베딩을 위해 이미지 품질과 고품질 시각적 데이터에 대한 의존도를 줄이기 위해.
• 공유된 특징 공간에서 이미지 및 레시피 임베딩 간의 정렬을 향상시키는 통합 프레임워크를 개발하기 위해.
• Recipe1M와 같은 대규모 실세계 음식 데이터셋에서 뛰어난 검색 성능를 달성하기 위해.

제안 방법

• 이미지 및 레시피 임베딩의 출력 의미 확률 분포를 정렬하기 위해 Kullback-Leibler (KL) 발산 기반의 의미 일치성 손실을 도입한다.
• 레시피 특징을 LSTM으로 인코딩한 후 자기주의 주의 메커니즘을 적용하여 향상된 표현을 위한 핵심 재료 및 조리 지침을 식별하고 강조한다.
• 양성 및 부정성 교차 모달 쌍 간의 마진 기반 순위를 강제하기 위해 트리플릿 손실 목표를 사용하여 모델을 훈련한다.
• 자기주의 주의 메커니즘과 LSTM을 조합하여 시각적 입력 없이도 더 구분 가능한 레시피 임베딩을 생성한다.
• t-SNE 시각화와 클래스 내 거리 분석을 통해 의미 일치성 손실이 특징 분산을 줄이는 데 효과적임을 검증한다.
• Recipe1M 데이터셋에 프레임워크를 종단 간(end-to-end)으로 적용하여 레시피 → 이미지 및 이미지 → 레시피 검색을 모두 가능하게 한다.

실험 결과

연구 질문

• RQ1 의미 일치성 손실이 이미지와 레시피의 의미 확률을 정렬함으로써 교차 모달 음식 검색에서 클래스 내 분산을 효과적으로 줄일 수 있는가?
• RQ2 시각적 데이터 없이 LSTM과 자기주의 주의를 통합할 경우, 레시피 임베딩의 구분 능력이 어느 정도 향상되는가?
• RQ3 기본 모델인 순수 트리플릿 손실과 비교해 볼 때, 제안된 SCAN 프레임워크는 검색 순위 정확도 측면에서 어떻게 성능을 내는가?
• RQ4 낮은 품질이거나 노이즈가 있는 음식 이미지에서도 자기주의 주의 메커니즘이 강건한가?
• RQ5 공통 재료를 공유하는 복잡하고 유사한 레시피에 대해, 핵심 구분 요소에 집중함으로써 모델이 일반화 가능한가?

주요 결과

• SCAN은 Recipe1M 데이터셋에서 몇 가지 최신 기술 수준의 교차 모달 검색 방법보다 뛰어난 성능을 보이며, 레시피 → 이미지 및 이미지 → 레시피 검색 작업 모두 최고의 성능을 달성한다.
• 의미 일치성 손실은 t-SNE 시각화와 콘크리트 케이크 레시피에 대한 정량적 분석을 통해, 쌍으로 연결된 이미지 및 레시피 임베딩 간 평균 클래스 내 특징 거리가 크게 줄어들었음을 보여준다.
• 자기주의 주의 메커니즘은 시각적으로 부재하거나 모호한 이미지에서도 '냉동 휘핑 크림'과 같은 핵심 재료 및 지침을 효과적으로 식별하고 강조한다.
• 의미 일치성 손실(예: TL+SC) 또는 자기주의 주의(예: TL+SA)만을 사용해 훈련한 모델는 열등한 성능를 보이며, 최적의 성능를 위해 두 구성 요소의 조합이 필수적임을 시사한다.
• 주의 메커니즘은 낮은 품질의 음식 이미지에서도 효과적으로 기능하여 시각적 노이즈와 변동성에 강건함을 입증한다.
• 제거 분석(ablation study)은 의미 일치성 손실과 자기주의 주의 메커니즘이 검색 정확도 향상에 독립적이고 상호 보완적으로 기여함을 확인한다.