[논문 리뷰] Improving Cross-Modal Retrieval with Set of Diverse Embeddings

Dong-Won Kim, Namyup Kim외 1명|arXiv (Cornell University)|2022. 11. 30.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 의미적 모호성을 다양한 임베딩 세트로 모델링하여 교차모달 이미지-텍스트 검색 성능을 향상시키는 새로운 세트 기반 임베딩 프레임워크를 제안한다. 희소 지도 학습과 세트 붕괴 문제를 완화하기 위해 스무스-카메르 유사도를 도입하고, 분리된 의미적 특징을 가진 임베딩을 생성하기 위해 슬롯 어텐션 기반 세트 예측 모듈을 활용하여 COCO와 Flickr30K에서 기존 방법을 능가하며 추론 비용도 낮춘다.

ABSTRACT

Cross-modal retrieval across image and text modalities is a challenging task due to its inherent ambiguity: An image often exhibits various situations, and a caption can be coupled with diverse images. Set-based embedding has been studied as a solution to this problem. It seeks to encode a sample into a set of different embedding vectors that capture different semantics of the sample. In this paper, we present a novel set-based embedding method, which is distinct from previous work in two aspects. First, we present a new similarity function called smooth-Chamfer similarity, which is designed to alleviate the side effects of existing similarity functions for set-based embedding. Second, we propose a novel set prediction module to produce a set of embedding vectors that effectively captures diverse semantics of input by the slot attention mechanism. Our method is evaluated on the COCO and Flickr30K datasets across different visual backbones, where it outperforms existing methods including ones that demand substantially larger computation at inference.

연구 동기 및 목표

• 이미지와 캡션에 다수의 타당한 해석이 존재하는 교차모달 검색의 본질적 모호성을 다루기 위해.
• 최적화되지 않은 유사도 함수로 인해 발생하는 희소 지도 학습과 세트 붕괴 등의 기존 세트 기반 임베딩 방법의 한계를 극복하기 위해.
• 경쟁적 어텐션 메커니즘을 활용하여 서로 다른 의미적 특징을 가진 분리된, 다양한 임베딩을 생성하는 세트 예측 모듈을 설계하기 위해.
• 사전에 계산된 임베딩을 통해 효율적인 검색을 가능하게 하되, 의미적 모호성의 개선된 모델링을 통해 높은 정확도를 유지하기 위해.
• 고성능 추론 비용 없이 COCO와 Flickr30K 벤치마크에서 최신 기술(SOTA) 성능을 달성하기 위해.

제안 방법

• 세트 순열에 대해 유연하고 미분 가능한 스무스-카메르 유사도를 제안하여, 희소 지도 학습과 세트 붕괴 등의 부작용을 줄인다.
• 학습 가능한 요소 슬롯이 입력 이미지와 텍스트에서 서로 다른 의미적 특징을 반복적으로 참조하고 집계하는 방식으로, 슬롯 어텐션 기반 세트 예측 모듈을 설계한다.
• 다중 집계 블록을 통한 渐진적 정련을 통해 세트 요소 간의 분리도를 향상시키고 의미적 다양성을 강화한다.
• 스무스-카메르 유사도 기반의 대비 손실을 사용하여 매칭되는 이미지-텍스트 쌍을 정렬하면서도 임베딩 세트 내의 다양성을 장려한다.
• 이중 인코더 아키텍처에 세트 예측 모듈을 통합하여 이미지와 텍스트를 별도로 인코딩하고, 효율적인 검색을 위한 세트 기반 출력을 가능하게 한다.
• 온도 스케일링과 하이퍼파라미터 튜닝(K, T, α)을 적용하여 세트의 기수, 반복 횟수, 유사도 민감도를 최적화한다.

Figure 1 : An example of the ambiguity problem introduced in the cross-modal retrieval task; an image region and a word corresponding to each other are highlighted in the same color. This example demonstrates that a single image can be coupled with multiple heterogeneous captions.

실험 결과

연구 질문

• RQ1 세트 기반 임베딩을 위한 유사도 함수를 어떻게 개선하여 희소 지도 학습과 세트 붕괴 등의 학습 부작용을 줄일 수 있는가?
• RQ2 슬롯 어텐션 기반 세트 예측 모듈이 이미지나 캡션의 다수의 의미적 측면을 포착하는 다양한, 분리된 임베딩을 효과적으로 생성할 수 있는가?
• RQ3 의미적 모호성을 세트 기반 임베딩으로 모델링할 경우, 단일 임베딩 기반 베이스라인에 비해 교차모달 검색 정확도가 얼마나 향상되는가?
• RQ4 제안된 방법은 기존 SOTA 방법보다 뛰어난 성능을 달성하면서도 저비용 추론을 유지하는가?
• RQ5 임베딩 세트의 개별 요소는 검색 성능에 어떻게 기여하는가? 그리고 그들의 집합적 활용은 어떤 역할을 하는가?

주요 결과

• 제안된 방법은 Flickr30K 데이터셋에서 평균 Recall@1(RSUM) 500.8을 달성하여 이전 SOTA 방법(PIE-Net)보다 17.5점 높다.
• COCO에서 모델은 RSUM 499.6을 기록하여 이전 SOTA(PIE-Net)보다 16.3점 높다.
• 제거 실험 결과, 임베딩 세트의 요소를 하나만 사용할 경우 성능이 크게 떨어지며, 특히 두 번째 시각적 슬롯만 사용할 경우 성능 저하가 가장 심했고(RSUM = 309.6), 이는 모호한 의미를 포착하는 데 기여함을 시사한다.
• 다양한 시각적 백본과 하이퍼파라미터 설정에서도 높은 성능를 유지하며, K > 3, T > 2, α > 4일 때 최적의 성능를 기록한다.
• 스무스-카메르 유사도 함수는 세트 붕괴와 희소 지도 학습을 효과적으로 줄였으며, 임베딩 세트의 분산이 낮고 일관된 성능 향상이 관찰됨으로써 이를 뒷받침한다.
• 슬롯 어텐션 기반 세트 예측 모듈은 다양하고 중복되지 않는 임베딩을 성공적으로 생성했으며, 평가 시 모든 요소를 함께 사용했을 때 성능 향상이 뚜렷하게 나타났다.

Figure 2 : An overview of our model. (a) The overall framework of our model. The model consists of three parts: visual feature extractor, textual feature extractor, and set-prediction modules $f^{\mathcal{V}}$ and $f^{\mathcal{T}}$ . First, the feature extractors of each modality extract local and g