[논문 리뷰] Crisscrossed Captions: Extended Intramodal and Intermodal Semantic Similarity Judgments for MS-COCO

Zarana Parekh, Jason Baldridge외 3명|arXiv (Cornell University)|2020. 04. 30.

Multimodal Machine Learning Applications참고 문헌 31인용 수 14

한 줄 요약

크리스크로스드 캡션(CxC)은 MS-COCO를 267,095개의 인간 레이블링된 의미 유사도 판단을 통해 확장하며, 이미지-캡션, 캡션-캡션, 이미지-이미지 쌍 간의 의미 유사도 평가를 가능하게 하여 다중모odal 및 단모달 표현 학습의 종합적 평가를 가능하게 한다. 이미지-텍스트 및 캡션-캡션 쌍에 대해 동시에 학습하는 다중태스크 듀얼 인코더는 네 가지 검색 작업 전반에서 최신 기술 성능을 달성하며, 이는 상호모달 학습이 이미지 인코딩을 희생하면서까지 텍스트 인코딩을 향상시킨다는 것을 보여주며, CxC의 고밀도 레이블링을 통해만 측정 가능한 이러한 상충관계를 드러낸다.

ABSTRACT

By supporting multi-modal retrieval training and evaluation, image captioning datasets have spurred remarkable progress on representation learning. Unfortunately, datasets have limited cross-modal associations: images are not paired with other images, captions are only paired with other captions of the same image, there are no negative associations and there are missing positive cross-modal associations. This undermines research into how inter-modality learning impacts intra-modality tasks. We address this gap with Crisscrossed Captions (CxC), an extension of the MS-COCO dataset with human semantic similarity judgments for 267,095 intra- and inter-modality pairs. We report baseline results on CxC for strong existing unimodal and multimodal models. We also evaluate a multitask dual encoder trained on both image-caption and caption-caption pairs that crucially demonstrates CxC's value for measuring the influence of intra- and inter-modality learning.

연구 동기 및 목표

• 기존의 MS-COCO와 같은 이미지 캡션 데이터셋에서 다중모달 및 내모달 관계의 부족을 해결하기 위해.
• 모드 간 긍정적 및 부정적 연관성을 포함함으로써 다중모달 표현 학습의 통합적 평가를 가능하게 하기 위해.
• 상호모달(이미지-텍스트) 및 내모달(텍스트-텍스트, 이미지-이미지) 관계를 모두 학습하는 모델의 개발 및 평가를 지원하기 위해.
• 이미지-텍스트, 텍스트-이미지, 텍스트-텍스트, 이미지-이미지 검색 작업 전반에서 모델 성능을 평가할 수 있는 통합 벤치마크를 제공하기 위해.
• 다양한 검색 및 유사도 작업 전반에서 성능를 균형 있게 유지하기 위한 다중태스크 학습의 유효성을 검증하기 위해.

제안 방법

• 의미 유사도 척도(0–5)를 사용하여 267,095개의 이미지-캡션, 캡션-캡션, 이미지-이미지 쌍에 대해 의미 유사도 점수를 인간이 레이블링함. 이는 의미적 텍스트 유사도(STS)에 영향을 받은 단계적 유사도 척도를 기반으로 함.
• 의미 관련성의 다양한 분포를 포함하도록 유도하는 간접적 샘플링 전략을 사용하여 의미 유사성의 광범위한 커버리지 확보.
• 이미지-텍스트 검색을 위한 이중 손실과 별도의 텍스트-텍스트 검색을 위한 손실을 사용하는 다중태스크 듀얼 인코더 모델을 학습.
• BERT 기반 텍스트 인코더와 EfficientNet-B4를 사용하여 이미지 인코더를 구성하며, 이미지-텍스트 및 캡션-캡션 유사도를 동시에 최적화.
• 공개된 코드 릴리스를 통해 CxC 레이블을 기존 MS-COCO 데이터와 통합하여 기존 벤치마크와의 원활한 통합을 가능하게 함.
• 검색 성능, 상관계수(Spearman R), Recall@k를 사용하여 네 가지 별도의 작업에서 모델 평가.

실험 결과

연구 질문

• RQ1 이미지-캡션 및 캡션-캡션 쌍에서의 공동 학습이 이미지-텍스트, 텍스트-이미지, 텍스트-텍스트, 이미지-이미지 검색 작업 전반에서 성능에 어떤 영향을 미치는가?
• RQ2 기존의 단모달 및 다중모달 모델이 표준 MS-COCO 평가에 포함되지 않은 내모달 유사도 판단에 얼마나 잘 일반화되는가?
• RQ3 통합된 고밀도의 다중모달 및 내모달 쌍을 기반으로 학습된 단일 모델 아키텍처가 다양한 검색 및 유사도 작업에서 균형 잡힌 성능을 달성할 수 있는가?
• RQ4 모델이 상호모달 및 내모달 유사도를 동시에 최적화하도록 학습할 경우 표현 능력에서 나타나는 상충관계는 무엇인가?
• RQ5 인간 레이블링된 의미 유사도 점수와 다양한 모달 및 작업에서의 모델 예측 간 상관관계는 어떠한가?

주요 결과

• 다중태스크 듀얼 인코더(DE T2T+I2T)는 네 가지 검색 작업 전반에서 가장 뛰어난 성능을 기록하며, 이미지-캡션 쌍만으로 학습된 모델보다 뛰어난 성능을 보임.
• DE T2T+I2T 모델은 여러 모델에서 Recall@k에서 1–3%p의 절대적 향상을 기록하며, CxC의 추가적인 양성 쌍이 검색 재현율 향상에 기여함을 입증함.
• 이미지-캡션 쌍만으로 학습된 DE T2T+I2T 모델은 텍스트-텍스트 유사도에서 최고의 스피어만 상관계수(Spearman R: 0.82)를 기록했으며, STS, SIS, SITS 세 가지 유사도 작업에서 균형 잡힌 성능을 보임.
• 이미지-캡션 쌍만으로 학습된 모델(DE I2T)은 SIS 점수(81.3)는 가장 높지만 STS 점수(50.9)는 가장 낮아, 이미지 표현에 대한 집중이 텍스트 표현의 품질을 훼손한다는 것을 시사함.
• CxC 레이블링은 동일한 이미지에 대한 공동 캡션(co-captions)의 평균 유사도가 3.0에 불과함을 드러내며, 이를 활용한 동의어 생성에 어려움이 있음을 시사하고, 인간 평가 시 이미지 맥락의 중요성을 강조함.
• CxC 데이터셋은 MS-COCO의 원래 5만 개의 이진 쌍 대비 5배 이상의 레이블 밀도를 증가시켰으며, 267,095개의 의미 유사도 점수를 뒷받침하는 총 1,335,475건의 독립적인 인간 평가가 포함되어 있음.