[논문 리뷰] Dividing and Conquering Cross-Modal Recipe Retrieval: from Nearest Neighbours Baselines to SoTA

Mikhail Fain, Twomey, Niall외 3명|arXiv (Cornell University)|2019. 11. 28.

Topic Modeling참고 문헌 56인용 수 15

한 줄 요약

이 논문은 사전에 계산된 이미지 및 텍스트 임베딩을 사용하는 간단하면서도 강력한 비모수적 방법인 Cross-Modal k-Nearest-Neighbours(CkNN)를 제안한다. 자기지도 학습 기반의 이미지 및 텍스트 인코더에 CkNN을 적용함으로써, Recipe1M에서 최고 성능(Recall@1 64.8%)을 달성하며, 끝내기 학습이 필요 없고 복잡도도 최소화된 채로 Politics 및 GoodNews 데이터셋으로도 효과적으로 일반화된다.

ABSTRACT

We propose a novel non-parametric method for cross-modal recipe retrieval which is applied on top of precomputed image and text embeddings. By combining our method with standard approaches for building image and text encoders, trained independently with a self-supervised classification objective, we create a baseline model which outperforms most existing methods on a challenging image-to-recipe task. We also use our method for comparing image and text encoders trained using different modern approaches, thus addressing the issues hindering the development of novel methods for cross-modal recipe retrieval. We demonstrate how to use the insights from model comparison and extend our baseline model with standard triplet loss that improves state-of-the-art on the Recipe1M dataset by a large margin, while using only precomputed features and with much less complexity than existing methods. Further, our approach readily generalizes beyond recipe retrieval to other challenging domains, achieving state-of-the-art performance on Politics and GoodNews cross-modal retrieval tasks.

연구 동기 및 목표

• 크로스모달 레시피 검색 분야에서 강력하고 단순한 베이스라인의 부족을 해결하기 위해, 특히 이미지-텍스트 매칭에 초점을 맞춘다.
• 다양한 방법 간에 이미지 및 텍스트 인코더 등의 개별 모델 구성 요소를 공정하게 비교할 수 있도록 한다.
• 복잡한 끝내기 학습 아키텍처에 의존하지 않고도 인코더의 강점과 약점을 체계적으로 파악할 수 있는 프레임워크를 구축한다.
• 사전에 계산된 특징과 최소한의 아키텍처 수정만으로 Recipe1M에서 SOTA 성능을 향상시킨다.
• 이러한 방법이 레시피 검색을 넘어서 다른 도전적인 크로스모달 검색 작업으로도 효과적으로 일반화됨을 보여준다.

제안 방법

• CkNN는 임베딩 공간에서 이질적 거리를 측정하여 주어진 이미지에 대한 매칭 텍스트를 k-최근접 이웃을 통해 검색한다.
• 이 방법은 끝내기 학습이 아닌 자기지도 대비 목적함수를 통해 최적화된 별개로 훈련된 이미지 및 텍스트 인코더를 사용한다.
• 거리 기반 검색은 사전에 계산된 이미지 및 텍스트 임베딩 간의 코사인 유사도를 사용하여 수행된다.
• 다양한 인코더(예: ResNet, AWE-Encoder)를 동일한 CkNN 프레임워크에서 평가함으로써 구성 요소 수준의 성능를 분리하여 모델 비교를 가능하게 한다.
• 사전에 계산된 임베딩에 표준 트리플릿 손실을 적용하여 베이스라인 성능을 향상시켰으며, 인코더 재학습 없이도 정렬을 향상시켰다.
• 동일한 초모수와 CkNN 추론 파이프라인을 재사용함으로써, Politics 및 GoodNews와 같은 다른 데이터셋으로도 일반화된다.

실험 결과

연구 질문

• RQ1 사전에 계산된 임베딩에 기반한 단순한 kNN 기반 검색 방법이 크로스모달 레시피 검색에 대해 강력하고 경쟁력 있는 베이스라인으로 기능할 수 있는가?
• RQ2 CkNN는 다양한 모델 간에 이미지 및 텍스트 인코더 구성 요소를 얼마나 공정하고 체계적으로 비교할 수 있는가?
• RQ3 인코더 비교에서 도출된 통찰이 끝내기 학습이나 복잡한 아키텍처 없이 Recipe1M에서 성능 향상에 기여할 수 있는가?
• RQ4 제안된 방법이 레시피 검색을 넘어서 다른 크로스모달 검색 벤치마크로도 효과적으로 일반화되는가?
• RQ5 Politics 및 GoodNews와 같은 다양한 데이터셋에서 CkNN의 성능는 SOTA 방법과 비교해 볼 때 어떻게 되는가?

주요 결과

• Politics 데이터셋의 이미지-텍스트 작업에서 CkNN은 Recall@1 64.8%를 달성하여 최고의 공개된 결과와 동일한 성능을 보였다.
• GoodNews 데이터셋에서는 CkNN이 Recall@1 88.6%를 기록하여 SOTA 성능을 달성했다.
• 사전에 계산된 특징에 트리플릿 손실을 적용함으로써 Recipe1M에서 SOTA 성능을 64.8% Recall@1로 향상시켰으며, 이는 이전의 SOTA를 크게 뛰어넘었다.
• 끝내기 학습이나 모델 특화 튜닝 없이도 CkNN 베이스라인 모델 자체가 모든 세 가지 데이터셋에서 경쟁 가능한 성능을 보였다.
• 이 프레임워크는 성능 향상의 원인을 특정 인코더 구성 요소에 명확히 기여함으로써, 추론 및 모델 분석을 단순화한다.
• 동일한 초모수를 사용하여 도메인 간에 잘 일반화되며, 레시피 및 비레시피 크로스모달 검색 작업 모두에서 강력한 성능을 보였다.