[논문 리뷰] Cross-Modal Retrieval in the Cooking Context: Learning Semantic Text-Image Embeddings

Micael Carvalho, Rémi Cadène외 4명|arXiv (Cornell University)|2018. 04. 30.

Multimodal Machine Learning Applications참고 문헌 38인용 수 37

한 줄 요약

이 논문은 이미지-텍스트 임베딩의 의미적 표현을 향상시키기 위해 이중 트리플릿 손실을 통해 인스턴스 수준과 의미 수준의 손실을 결합한, 조인트 컬러모달 검색 및 분류 학습 프레임워크인 AdaMine을 제안한다. 대규모 Recipe1M 데이터셋에서 평가된 AdaMine는 이미지에서 레시피로의 검색에서 중앙순위(MedR) 13.2를 기록하며, 이는 이전의 최고 성능 모델들보다 뛰어난 일반화 능력과 세분화된 의미 정렬 능력을 보여준다.

ABSTRACT

Designing powerful tools that support cooking activities has rapidly gained popularity due to the massive amounts of available data, as well as recent advances in machine learning that are capable of analyzing them. In this paper, we propose a cross-modal retrieval model aligning visual and textual data (like pictures of dishes and their recipes) in a shared representation space. We describe an effective learning scheme, capable of tackling large-scale problems, and validate it on the Recipe1M dataset containing nearly 1 million picture-recipe pairs. We show the effectiveness of our approach regarding previous state-of-the-art models and present qualitative results over computational cooking use cases.

연구 동기 및 목표

• 요리 응용 분야에서 요리 및 이미지 데이터의 의미적 이질성과 문화적 다양성 문제를 해결하기 위해.
• 기존의 쌍 매칭 방식이 유사하지만 동일하지 않은 요리에 대해 일반화되지 못하는 대규모 설정에서의 교차모달 검색 성능을 향상시키기 위해.
• 공유 잠재 공간의 구조를 향상시키기 위해 고수준의 의미 클래스 정보를 직접 임베딩 학습 과정에 통합하기 위해.
• 별도의 분류 헤드를 피하기 위해 과적합을 방지하고 모델 효율성을 유지하는 파라미터 효율적인 방법을 개발하기 위해.
• 식품 제한 조건이 있는 요리 수정 및 성분 기반 이미지 검색과 같은 실용적인 후행 요리 응용을 지원하기 위해.

제안 방법

• 인스턴스 기반 검색 손실(L_ins)과 의미 기반 분류 손실(L_sem)을 조합한 조인트 목표 함수를 제안하여 임베딩 공간의 구조를 동시에 최적화한다.
• 이중 트리플릿 손실 메커니즘을 도입하여 동시에 다음 두 가지를 강제한다: (1) 일치하는 이미지-레시피 쌍이 비일치하는 쌍보다 가까워야 하며, (2) 동일한 클래스의 항목들(예: 모든 피자)이 서로 다른 클래스의 항목들(예: 피자 vs. sald)보다 가까워야 한다.
• 학습 중에 유의미한 트리플릿을 선택하기 위해 적응형 트리플릿 마이닝 전략을 활용하여 수렴 속도와 표현 품질을 향상시킨다.
• 이미지와 텍스트(재료 및 지시사항)를 공유 임베딩 공간으로 인코딩하기 위해 시아미즈 유사 딥 네트워크 아키텍처를 사용한다.
• 재료와 지시사항의 임베딩을 연결하여 텍스트 표현을 풍부하게 함으로써 요리의 전체 구조를 활용한다.
• 약 100만 개의 이미지-레시피 쌍을 포함하는 Recipe1M 데이터셋에서 엔드 투 엔드로 모델을 훈련시켜 강력하고 일반화 가능한 교차모달 임베딩을 학습한다.

실험 결과

연구 질문

• RQ1 조인트로 검색과 의미 기반 분류를 함께 학습함으로써 대규모 요리 검색에서 교차모달 임베딩의 일반화 능력이 향상될 수 있는가?
• RQ2 임베딩 공간에 고수준의 의미 클래스 정보를 통합할 경우, 인스턴스 수준 매칭만 사용하는 것과 비교해 검색 성능에 어떤 영향을 미치는가?
• RQ3 학습된 임베딩 공간이 특정 재료나 변형된 요리 버전을 찾는 세분화된 의미 인식 검색을 얼마나 잘 지원할 수 있는가?
• RQ4 적응형 마이닝을 적용한 제안된 이중 트리플릿 손실이 중앙순위 및 재현율 지표에서 표준 대비 손실 또는 트리플릿 손실보다 우수한가?
• RQ5 모델이 성분 기반 이미지 검색이나 식이 제약 조건을 고려한 레시피 수정과 같은 후행 요리 응용을 효과적으로 지원할 수 있는가?

주요 결과

• AdaMine는 Recipe1M 데이터셋에서 이미지에서 레시피로의 검색에서 중앙순위(MedR) 13.2를 기록하며, 이는 이전의 최고 성능 모델들보다 뚜렷이 뛰어난 성능을 보였다.
• 레시피에서 이미지로의 검색에서도 MedR 12.2를 기록하여 양방향 검색에서 뛰어난 성능을 입증했다.
• 입력에서 재료나 지시사항을 제거할 경우 성능이 급격히 떨어지며, 각각 MedR가 52.8과 53.8로 증가하여 두 텍스트 구성 요소가 모두 필수적임을 입증했다.
• 피자 클래스 내에서 파인애퍼니나 딸기와 같은 재료를 검색할 경우, 과일 피자와 같은 시각적이고 의미적으로 관련된 이미지를 검색하여 세분화된 의미 조직을 보여주었다.
• 레시피의 재료와 지시사항에서 Broccoli를 제거한 후, 모델은 브로콜리가 없는 이미지를 검색하여 잠재 공간이 재료의 존재 또는 부재를 정확히 인코딩하고 있음을 확인했다.
• 제거 실험 결과, AdaMine_ingr 또는 AdaMine_instr만으로는 성능이 열악하게 나타나(MedR 39.0 및 39.2), 두 텍스트 구성 요소가 정확한 검색에서 상호 보완적인 역할을 한다는 점을 입증했다.