[논문 리뷰] End-to-end Image Captioning Exploits Multimodal Distributional Similarity

Pranava Madhyastha, Josiah Wang외 1명|arXiv (Cornell University)|2018. 09. 11.

Multimodal Machine Learning Applications참고 문헌 27인용 수 3

한 줄 요약

이 논문은 종단간 이미지 캡션 생성 모델이 진정한 시각적 이해보다는 다중모odal 특징 공간 내 분포 유사성에 의존하여 캡션을 생성하는지 조사한다. RNN 디코더를 고정한 채로 이미지 표현을 다양화함으로써, 저자들은 모델이 노이즈가 있거나 압축된 입력이어도 테스트 이미지를 의미적으로 유사한 학습 이미지와 잘 매칭하고, 이러한 매칭에 기반해 캡션을 생성함을 입증한다. 이는 모델이 깊은 시각적 이해보다는 유사성 매칭에 의존하고 있음을 시사한다.

ABSTRACT

We hypothesize that end-to-end neural image captioning systems work seemingly well because they exploit and learn `distributional similarity' in a multimodal feature space by mapping a test image to similar training images in this space and generating a caption from the same space. To validate our hypothesis, we focus on the `image' side of image captioning, and vary the input image representation but keep the RNN text generation component of a CNN-RNN model constant. Our analysis indicates that image captioning models (i) are capable of separating structure from noisy input representations; (ii) suffer virtually no significant performance loss when a high dimensional representation is compressed to a lower dimensional space; (iii) cluster images with similar visual and linguistic information together. Our findings indicate that our distributional similarity hypothesis holds. We conclude that regardless of the image representation used image captioning systems seem to match images and generate captions in a learned joint image-text semantic subspace.

연구 동기 및 목표

• 종단간 이미지 캡션 생성 모델이 진정한 시각적 및 언어적 이해를 통해 뛰어난 성능을 내는 것으로 간주하는 가정을 도전한다.
• 이미지 캡션 시스템이 의미 추론이 아닌 공동 시각-의미 공간 내 분포 유사성에 의존하는지 조사한다.
• 노이즈 및 차원 축소와 같은 이미지 표현의 변형에 대한 캡션 생성 모델의 강건성 평가.
• 학습 데이터와 테스트 데이터 간 분포 이탈 상황에서 캡션 생성 모델의 도메인 일반화 능력 검토.
• 캡션 생성이 학습된 시각-의미 하위공간 내 이미지 매칭에 의해 이끌린다는 경험적 증거 제공.

제안 방법

• 저자들은 RNN 기반 텍스트 생성 컴포넌트를 고정한 채로 입력 이미지 표현을 다양화한다(예: ResNet-152 특징, 희소 BoW, 가짜 랜덤 벡터).
• 표준 자동 평가 지표(BLEU, METEOR, CIDEr, SPICE)를 사용해 다양한 이미지 표현에서의 모델 성능을 평가한다.
• 의미 있는 구조와 노이즈를 구분할 수 있는지 테스트하기 위해 개체 수준 특징에서 유도된 가짜 랜덤 벡터를 도입한다.
• 고차원 이미지 임베딩을 저차원 공간으로 압축하여 차원 축소에 따른 성능 저하를 평가한다.
• MSCOCO에서 학습한 모델을 Flickr30k 테스트 세트에서 평가함으로써 도메인 간 일반화 능력을 평가한다.
• 시각-의미 임베딩 공간에서 이미지 표현의 군집화 행동을 분석하여 의미 그룹화 수준 평가.

실험 결과

연구 질문

• RQ1 종단간 이미지 캡션 생성 모델은 다중모달 임베딩 공간에서 테스트 이미지를 유사한 학습 이미지와 매칭함으로써 캡션을 생성하는가?
• RQ2 노이즈가 있거나 무작위 이미지 표현이 입력될 경우 모델이 강건하게 높은 성능을 유지할 수 있는가? 이는 입력의 구조에 대한 강건성을 시사한다.
• RQ3 고차원 이미지 특징이 저차원 표현으로 압축될 경우 성능이 어느 정도 저하되는가?
• RQ4 테스트 데이터가 학습 데이터와 다른 분포를 가질 경우 모델 성능은 어떻게 변화하는가?
• RQ5 공유된 시각적 및 언어적 내용에 따라 이미지 표현이 시각-의미 공간에서 군집화되는가?

주요 결과

• 종단간 이미지 캡션 생성 모델은 노이즈가 있는 가짜 랜덤 이미지 표현에서 의미 있는 구조를 분리할 수 있어, 입력 편향에 대한 강건성을 보여준다.
• 고차원 이미지 임베딩이 저차원 공간으로 압축되어도 성능에 거의 영향을 받지 않아, 의미 이해보다는 유사성 기반 매칭을 통한 작동이라는 가설을 지지한다.
• 유사한 시각적 및 언어적 내용을 공유하는 이미지들이 학습된 시각-의미 하위공간 내에서 군집화되며, 공통된 의미 임베딩 공간 존재를 확인한다.
• MSCOCO에서 학습한 모델은 Flickr30k 테스트 세트에서 성능이 크게 떨어지며, 이는 어휘 오버랩률이 8.6%에 불과함에도 불구하고 도메인 의존성이 높음을 시사한다.
• Flickr30k에서 BLEU 및 METEOR 점수의 감소는 어휘 불일치 때문이 아니라 문장의 구조적 및 길이적 차이 때문이며, 이는 모델이 언어 분포 간 일반화에 실패함을 시사한다.
• 결과적으로, 종단간 캡션 생성 모델이 깊은 시각적 또는 언어적 추론을 수행하기보다는 다중모달 공간 내 분포 유사성을 활용한다는 가설을 지지한다.