[논문 리뷰] Contrastive Learning for Image Captioning

Bo Dai, Dahua Lin|arXiv (Cornell University)|2017. 10. 06.

Multimodal Machine Learning Applications인용 수 92

한 줄 요약

이 논문은 이미지 캡션 생성에 대해 Contrastive Learning(CL)를 도입하고, 고정된 참조 모델을 사용해 대상 모델이 서로 다르면서도 높은 품질의 캡션으로 향하도록 유도하며, MSCOCO와 InstaPIC-1.1M에서 다수의 지표로 개선된 결과를 보인다.

ABSTRACT

Image captioning, a popular topic in computer vision, has achieved substantial progress in recent years. However, the distinctiveness of natural descriptions is often overlooked in previous work. It is closely related to the quality of captions, as distinctive captions are more likely to describe images with their unique aspects. In this work, we propose a new learning method, Contrastive Learning (CL), for image captioning. Specifically, via two constraints formulated on top of a reference model, the proposed method can encourage distinctiveness, while maintaining the overall quality of the generated captions. We tested our method on two challenging datasets, where it improves the baseline model by significant margins. We also showed in our studies that the proposed method is generic and can be used for models with various structures.

연구 동기 및 목표

• 전통적인 정확도 지표를 넘어서 이미지 캡션에서의 구별성의 중요성을 고무한다.
• 전반적인 캡션 품질을 유지하면서 구별성을 촉진하는 학습 프레임워크를 제안한다.
• 고정된 참조 모델이 캡션의 고유성 향상에 안정적인 가이던스를 제공할 수 있음을 보인다.
• 다양한 캡션 아키텍처와 데이터세트에 CL을 적용하여 일반성을 입증한다.

제안 방법

• 매개변수 theta를 갖는 타깃 모델 p_m과 매개변수 phi를 갖는 고정 참조 모델 p_n을 정의한다.
• 양의 쌍 (I,c)과 음의 쌍 (I,c_/ )를 생성하는데, c는 이미지 I의 지상 진실 캡션이고 c_/I는 I에 대해 불일치한 캡션이다.
• Use a log-ratio G((c,I);theta,phi)=ln p_m(c|I,theta) - ln p_n(c|I,phi) and a logistic saturating function h((c,I);theta,phi)=r_nu(G((c,I);theta,phi)).
• Maximize the objective J(theta)= (1/K)(1/T_m) sum_{k=1}^K L(theta; X, Y_k, phi) where L is the log-likelihood over positive and negative pairs.
• Balance positive and negative samples by setting nu = T_n/T_m (usually nu=1) and replicate X to sample diverse Y.
• Show that CL can be composed on top of various base models (e.g., Neuraltalk2, AdaptiveAttention) and is compatible with MLE pretraining.

실험 결과

연구 질문

• RQ1 고정된 참조 모델과 대비 학습의 양성/음성 제약을 도입하면 전반적인 캡션 품질을 희생하지 않으면서 캡션의 구별성을 높일 수 있는가?
• RQ2 CL이 데이터셋과 모델 아키텍처 전반에 걸쳐 표준 캡션 지표(BLEU, METEOR, ROUGE-L, CIDEr)에 어떠한 영향을 미치는가?
• RQ3 CL이 서로 다른 기본 아키텍처 및 데이터 규모(MSCOCO, InstaPIC-1.1M)에서도 강건한가?

주요 결과

• 자기 회수(self-retrieval) 연구는 더 높은 구별성이 더 나은 캡션 메트릭과 상관관계가 있음을 시사한다.
• MSCOCO에서 AdaptiveAttention + CL은 BLEU, METEOR, ROUGE-L, CIDEr에서 기반 AdaptiveAttention 대비 큰 폭으로 향상되어 강력한 단일 모델 결과를 달성한다.
• InstaPIC-1.1M에서 AdaptiveAttention + CL은 기반 대비 CIDEr에서 상당한 향상을 보이며 설명 품질이 향상되었음을 시사한다.
• CL은 여러 기본 모델과 데이터세트에 대해 호환되며 일반화되며, 제거 실험에서 전체 CL(양성 및 음성 제약)이 한 제약만 사용하거나 IL/GAN 기법보다 우수함을 보인다.
• 참조를 주기적으로 교체하는 것은 강한 타깃이 얻어지면 수익이 감소할 수 있어, 많은 경우 하나의 강력한 참조만으로도 충분하다는 것을 시사한다.