[논문 리뷰] A Semi-supervised Framework for Image Captioning

Wenhu Chen, Aurélien Lucchi외 1명|arXiv (Cornell University)|2016. 11. 16.

Multimodal Machine Learning Applications참고 문헌 32인용 수 14

한 줄 요약

이 논문은 대규모 외부 도메인 텍스트 데이터를 활용해 모델을 사전학습시키고, 인위적으로 시각적 특징을 생성하여 부족한 이미지 데이터를 시뮬레이션하는 준지도 학습 프레임워크를 제안한다. 단어 임bedding 대신 지역적 이미지 특징을 사용하고, 리뷰어-디코더 아키텍처에 주의 메커니즘을 통합함으로써, MS-COCO와 Flickr30K에서 최신 기술 수준의 성능을 달성하며, 비지도 사전학습을 통해 캡션 정확도와 다양성을 크게 향상시킨다.

ABSTRACT

State-of-the-art approaches for image captioning require supervised training data consisting of captions with paired image data. These methods are typically unable to use unsupervised data such as textual data with no corresponding images, which is a much more abundant commodity. We here propose a novel way of using such textual data by artificially generating missing visual information. We evaluate this learning approach on a newly designed model that detects visual concepts present in an image and feed them to a reviewer-decoder architecture with an attention mechanism. Unlike previous approaches that encode visual concepts using word embeddings, we instead suggest using regional image features which capture more intrinsic information. The main benefit of this architecture is that it synthesizes meaningful thought vectors that capture salient image properties and then applies a soft attentive decoder to decode the thought vectors and generate image captions. We evaluate our model on both Microsoft COCO and Flickr30K datasets and demonstrate that this model combined with our semi-supervised learning method can largely improve performance and help the model to generate more accurate and diverse captions.

연구 동기 및 목표

• 이미지 캡셔닝에서 쌍화된 이미지-캡션 학습 데이터의 부족 문제를 해결하기 위해.
• 해당 이미지가 없는 풍부한 비지도 텍스트 데이터를 활용해 모델의 일반화 능력과 성능을 향상시키기 위해.
• 캡션 생성 파이프라인에서 단어 임베딩을 지역적 이미지 특징으로 대체함으로써 캡션의 다양성과 정확도를 향상시키기 위해.
• 텍스트에서 시각 정보를 합성함으로써 학습 과정을 부트스트랩하는 데 목적이 있는 사전학습 전략을 개발하기 위해.
• 외부 텍스트 데이터를 활용한 준지도 학습이 표준 벤치마크에서 상당한 성능 향상을 이끌어내는지 입증하기 위해.

제안 방법

• 모델은 이미지 특징을 추출하기 위해 CNN을 사용하고, 반응 맵 로컬라이저를 통해 감지된 시각적 개념에 해당하는 영역을 식별한다.
• 시각적 개념은 단어 임베딩 대신 공간적 및 의미적 중요성을 유지하는 지역적 이미지 특징(예: ResNet-152에서 유도)으로 매핑된다.
• 주의 메커니즘을 갖춘 애트리뷰트 LSTM 리뷰어가 다중 스텝에 걸쳐 지역적 특징을 집계하여 주목할 만한 이미지 특성을 나타내는 사고 벡터를 생성한다.
• 이 사고 벡터는 주의 기반 LSTM 디코더에 입력되어 자연어 캡션을 생성한다.
• 새로운 사전학습 단계는 외부 도메인 텍스트 데이터를 사용하여 노이즈 증강 오토에인코더 유사 메커니즘을 통해 합성된 이미지 특징을 생성함으로써 시각 입력을 시뮬레이션한다.
• 모델은 지도 학습 데이터인 도메인 내 이미지-캡션 쌍으로 사전학습 후 미세조정되며, 지도 및 비지도 신호를 모두 통합한다.

실험 결과

연구 질문

• RQ1 쌍화된 이미지 데이터가 제한된 상황에서 대규모 비지도 텍스트 데이터를 효과적으로 활용해 이미지 캡셔닝 성능을 향상시킬 수 있는가?
• RQ2 단어 임베딩을 지역적 이미지 특징으로 대체할 경우 더 정확하고 다양한 캡션 생성이 가능한가?
• RQ3 반복적인 사고 벡터 개선을 수행하는 리뷰어-디코더 아키텍처는 표준 주의 메커니즘 대비 캡션 품질을 향상시키는가?
• RQ4 외부 도메인 텍스트 데이터로 사전학습을 수행할 경우, 고비용의 쌍화된 학습 데이터 의존도가 어느 정도 감소하는가?
• RQ5 사전학습 중 노이즈 주입이 이미지 캡셔닝에서 모델의 강인성과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 모델은 MS-COCO와 Flickr30K 양쪽에서 기존 최신 기술 수준의 방법들을 능가하며, 공식 COCO 테스트 서버 랭킹에서 SOTA 성능을 기록했다.
• 외부 도메인 텍스트 데이터로 사전학습을 수행함으로써 BLEU-4 점수가 상당한 폭으로 향상되었으며, 특히 학습 데이터가 적은 Flickr30K에서 가장 큰 향상 폭을 보였다.
• 단어 임베딩 대신 지역적 이미지 특징을 사용함으로써 모든 평가 지표에서 CIDEr, BLEU, METEOR 점수가 향상되었다.
• 사전학습 중 노이즈 주입을 추가함으로써 모델의 강인성이 향상되어, 깨끗한 사전학습 대비 CIDEr 및 METEOR 점수에서 더 높은 성능을 기록했다.
• 지역적 특징과 리뷰어 모듈을 갖춘 모델 앙상블은 가장 높은 성능을 기록했으며, COCO 테스트 세트에서 CIDEr 점수가 120을 초과했다.
• 비지도 사전학습 단계는 질적 분석과 인간 일致도 점수 향상으로부터도 확인되었듯이, 더 다양한 캡션 생성을 가능하게 했다.