[논문 리뷰] Multimodal Transformer with Multi-View Visual Representation for Image Captioning

Jun Yu, Jing Li외 2명|arXiv (Cornell University)|2019. 05. 20.

Multimodal Machine Learning Applications참고 문헌 49인용 수 30

한 줄 요약

이 논문은 이미지 캡션 생성을 위한 다중모态 트랜스포머(MT) 모델을 제안하며, 모odal 내(self-attention, 단어-단어, 객체-객체)와 모달 간(co-attention, 단어-객체)의 상호작용을 동시에 모델링함으로써 깊이 있는 다중모달 추론을 가능하게 한다. 전용 인코더를 통해 정렬된 및 정렬되지 않은 다중 시각적 특징을 통합함으로써 MT 모델은 최신 기준 성능을 달성하였으며, 7개의 모델 앙상블로 MSCOCO 실시간 랭킹에서 1위를 기록하였다.

ABSTRACT

Image captioning aims to automatically generate a natural language description of a given image, and most state-of-the-art models have adopted an encoder-decoder framework. The framework consists of a convolution neural network (CNN)-based image encoder that extracts region-based visual features from the input image, and an recurrent neural network (RNN)-based caption decoder that generates the output caption words based on the visual features with the attention mechanism. Despite the success of existing studies, current methods only model the co-attention that characterizes the inter-modal interactions while neglecting the self-attention that characterizes the intra-modal interactions. Inspired by the success of the Transformer model in machine translation, here we extend it to a Multimodal Transformer (MT) model for image captioning. Compared to existing image captioning approaches, the MT model simultaneously captures intra- and inter-modal interactions in a unified attention block. Due to the in-depth modular composition of such attention blocks, the MT model can perform complex multimodal reasoning and output accurate captions. Moreover, to further improve the image captioning performance, multi-view visual features are seamlessly introduced into the MT model. We quantitatively and qualitatively evaluate our approach using the benchmark MSCOCO image captioning dataset and conduct extensive ablation studies to investigate the reasons behind its effectiveness. The experimental results show that our method significantly outperforms the previous state-of-the-art methods. With an ensemble of seven models, our solution ranks the 1st place on the real-time leaderboard of the MSCOCO image captioning challenge at the time of the writing of this paper.

연구 동기 및 목표

• 기존의 이미지 캡션 생성 모델이 상호모달 간(co-attention) 상호작용만을 모델링하고 내모달 간(self-attention) 상호작용를 忽略하는 한계를 해결하기 위해.
• 다양한 이미지 시각 각도에서의 다중 시각적 특징을 통합하여 시각적 표현을 향상시키고, 특징의 다양성과 구분 능력을 높이기 위해.
• 복잡한 다중모달 종속성을 정확한 캡션 생성을 위해 포괄하는 깊이 있는, 엔드 투 엔드 학습 가능한 트랜스포머 기반 아키텍처를 설계하기 위해.
• 이중 내모달 및 상호모달 주의 모델링을 통합된 주의 블록에서 효과적으로 평가하기 위해.
• MSCOCO 데이터셋에서 광범위한 제거 실험과 벤치마크 평가를 통해 뛰어난 성능을 입증하기 위해.

제안 방법

• 기존의 CNN-RNN 인코더를 대체하기 위해 깊이 있는 자기-주의 및 상호주의 기반의 인코더-디코더 아키텍처를 갖춘 다중모달 트랜스포머(MT) 모델을 제안한다.
• 단어-단어, 객체-객체, 단어-객체 주의를 동시에 모델링하는 모듈러 주의 블록을 활용하여 내모달 및 상호모달 관계를 포괄한다.
• 정렬된 다중 시각적 특징을 위한 MT_amv 및 정렬되지 않은 다중 시각적 특징을 위한 MT_umv라는 두 가지 변종을 도입하며, 가이드 주의를 사용해 다양한 시각 간 특징을 정렬한다.
• 더 풍부한 시각적 표현을 위해 사전 훈련된 객체 검출기(Faster R-CNN 등)에서 유도된 영역 기반 특징을 이미지 인코더의 입력으로 사용한다.
• 인코더와 디코더 양쪽에 다중 헤드 주의 블록을 깊이 있게 스택하여 시각적 및 텍스트 시퀀스에 대한 계층적 추론을 가능하게 한다.
• 교차 엔트로피 손실을 사용해 엔드 투 엔드로 모델을 훈련하며, 각 구성 요소의 기여도를 검증하기 위해 제거 실험을 실시한다.

실험 결과

연구 질문

• RQ1 통합된 트랜스포머 블록에서 자기주의와 상호주의를 동시에 모델링하면 이미지 캡션 생성 성능이 향상되는가?
• RQ2 정렬된 및 정렬되지 않은 다중 시각적 특징을 통합함으로써 캡션 생성을 위한 시각적 표현은 어떻게 향상되는가?
• RQ3 깊이 있는 주의 스택이 다중모달 추론과 캡션 정확도에 어떤 영향을 미치는가?
• RQ4 제안된 MT 변종(MT_amv 및 MT_umv)은 다양한 이미지 시나리오에서 성능 및 내성에 대해 어떻게 비교되는가?
• RQ5 주의 맵은 의미 있는 객체-단어 관계와 맥락적 이해를 얼마나 잘 드러내는가?

주요 결과

• 제안된 MT 모델은 단일 모델로도 이전의 최고 성능(SOTA) 방법들을 뛰어넘는 성능을 달성하였다.
• 7개의 MT 모델 앙상블이 발표 당시 MSCOCO 이미지 캡션 실시간 랭킹에서 1위를 기록하였다.
• 정렬되지 않은 다중 시각적 특징을 처리하는 MT_umv 변종이 MT_amv보다 더 뛰어난 정량적 성능을 보였으며, 이는 유연한 특징 정렬의 이점임을 시사한다.
• 정성적 분석 결과, 더 깊은 블록(예: 블록 6)에서의 주의 맵은 '여성'과 '스케이트보드'와 같은 핵심 객체와 그 관계를 강조하며 효과적인 다중모달 추론을 보여주었다.
• 주의 맵을 통해 정렬되지 않은 다중 시각적 특징을 효과적으로 학습함을 확인하였으며, 예를 들어 한 사람의 다른 부분을 올바르게 연결하는 데 성공하였다.
• 제거 실험 결과, 자기주의와 다중 시각적 특징 통합이 성능 향상에 매우 중요하며, 각 구성 요소가 캡션 정확도 향상에 기여하고 있음을 확인하였다.