[논문 리뷰] Matching Images and Text with Multi-modal Tensor Fusion and Re-ranking

Tan Wang, Xing Xu외 4명|arXiv (Cornell University)|2019. 08. 12.

Multimodal Machine Learning Applications참고 문헌 47인용 수 10

한 줄 요약

이 논문은 공유 임bedding 공간이 필요 없이 다중 모달 텐서 융합을 통해 직접 이미지-텍스트 유사도를 학습하는 MTFN-RR라는 새로운 이미지-텍스트 매칭 프레임워크를 제안한다. 이후 검색 결과를 정교화하기 위해 교차 모달 재순서 정렬 기법을 적용한다. 이 방법은 기존 접근 방식에 비해 훨씬 감소된 학습 시간으로 MSCOCO 및 Flickr30k에서 최신 기준 성능을 달성한다.

ABSTRACT

A major challenge in matching images and text is that they have intrinsically different data distributions and feature representations. Most existing approaches are based either on embedding or classification, the first one mapping image and text instances into a common embedding space for distance measuring, and the second one regarding image-text matching as a binary classification problem. Neither of these approaches can, however, balance the matching accuracy and model complexity well. We propose a novel framework that achieves remarkable matching performance with acceptable model complexity. Specifically, in the training stage, we propose a novel Multi-modal Tensor Fusion Network (MTFN) to explicitly learn an accurate image-text similarity function with rank-based tensor fusion rather than seeking a common embedding space for each image-text instance. Then, during testing, we deploy a generic Cross-modal Re-ranking (RR) scheme for refinement without requiring additional training procedure. Extensive experiments on two datasets demonstrate that our MTFN-RR consistently achieves the state-of-the-art matching performance with much less time complexity. The implementation code is available at https://github.com/Wangt-CN/MTFN-RR-PyTorch-Code.

연구 동기 및 목표

• 이미지와 텍스트의 데이터 분포와 특징 표현 방식의 내재적 차이로 인해 발생하는 이미지-텍스트 매칭 과제를 해결하기 위해.
• 기존의 임bedding 기반 및 분류 기반 방법의 정확도와 모델 복잡도의 균형을 이루는 데서 비롯하는 한계를 극복하기 위해.
• 텐서 융합과 교차 모달 재순서 정렬을 조합하여 낮은 계산 비용으로 높은 성능을 달성하는 프레임워크를 개발하기 위해.
• 재순서 정렬을 위한 추가 학습 없이도 효과적이고 효율적인 교차 모달 검색을 가능하게 하기 위해.

제안 방법

• 다중 모달 텐서 융합 네트워크(MTFN)는 랭크 제약 텐서 융합을 사용하여 전역 특징에서 직접 이미지-텍스트 유사도를 학습하며, 공유 임bedding 공간이 필요 없도록 한다.
• MTFN은 이미지-텍스트 융합 및 텍스트-텍스트 융합이라는 두 개의 브랜치를 사용하며, 각각이 모달 간의 풍부한 이차 상호작용을 모델링하기 위해 텐서 융합을 적용한다.
• 융합된 벡터에 대해 완전 연결층을 통해 유사도 점수를 예측하며, 양성 및 음성 쌍 간의 분리를 향상시키기 위해 마진 기반 순서 손실로 최적화된다.
• 일반적인 교차 모달 재순서 정렬(RR) 기법은 추론 과정에서 적용되며, 이미지-텍스트 및 텍스트-텍스트 유사도를 활용하여 재학습 없이 검색 순서를 정교화한다.
• 재순서 정렬 과정은 k개의 근접 이웃을 사용하여 교차 모달 관계를 집계하며, I2T 및 T2I 작업 모두에서 검색 정확도를 향상시킨다.
• 성능 향상을 위해 모델 앙상블 기법을 적용하며, 여러 개의 MTFN-RR 모델을 평균화하여 안정성과 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 낮은 모델 복잡도를 유지하면서도 고정밀도의 이미지-텍스트 매칭 성능을 달성할 수 있는 프레임워크를 설계할 수 있는가?
• RQ2 공유 임bedding 공간에 의존하지 않고도 텐서 융합을 효과적으로 사용하여 이미지-텍스트 유사도를 학습할 수 있는가?
• RQ3 추가 학습 없이도 교차 모달 관계 기반의 후처리 재순서 정렬 전략이 검색 성능을 향상시키는가?
• RQ4 VSE++, SCAN, RRF-Net과 같은 최신 기준 방법과 비교해 본다면, 제안된 방법은 효율성과 정확도 측면에서 어떻게 비교되는가?

주요 결과

• MTFN-RR는 MSCOCO 및 Flickr30k 데이터셋에서 최신 기준 성능을 달성하였으며, Flickr30k에서 MTFN-RR (M=3)의 경우 I2T에서 R@1이 67.7, T2I에서 53.2를 기록하였다.
• 이 성능는 전역 특징만을 사용해 약 9시간의 학습 시간으로 달성되었으며, 이는 기존의 sm-LSTM(50시간) 및 SCAN(60시간)과 비교해 훨씬 빠른 속도를 기록하였다.
• 교차 모달 재순서 정렬 기법은 I2T에서 최대 2.4점, T2I에서 최대 1.2점의 R@1 향상을 보이며, 다양한 방법에 걸쳐 일관된 성능 향상을 입증하였다.
• 재순서 정렬 성능은 K=6 이웃에서 안정화되며, 더 작은 K 값에서는 성능 저하가 관찰되어 최적의 이웃 수를 확인하였다.
• 모델 앙상블은 성능 향상에 추가 기여하였으며, MTFN-RR (M=3)는 T2I 작업에서 최고의 SCAN 앙상블(53.2 vs. 48.6 R@1)을 초월하였다.
• 이 방법은 다른 최신 기준 모델(DAN, VSE++, SCAN)에 적용되었을 때도 일반화 가능하며, 일관된 성능 향상을 보였다.