[논문 리뷰] Unified Vision-Language Pre-Training for Image Captioning and VQA

Luowei Zhou, Hamid Palangi외 4명|arXiv (Cornell University)|2019. 09. 24.

Multimodal Machine Learning Applications참고 문헌 30인용 수 74

한 줄 요약

하나의 공유 인코더-디코더 트랜스포머를 사용해 이미지-텍스트 쌍에 대해 양방향 및 seq2seq 마스킹을 모두 적용하는 단일 통합 Vision-Language Pre-training (VLP) 모델이 이미지 자막 생성과 VQA에서 COCO, Flickr30k, VQA 2.0 전반에 걸쳐 최첨단 성능을 달성합니다.

ABSTRACT

This paper presents a unified Vision-Language Pre-training (VLP) model. The model is unified in that (1) it can be fine-tuned for either vision-language generation (e.g., image captioning) or understanding (e.g., visual question answering) tasks, and (2) it uses a shared multi-layer transformer network for both encoding and decoding, which differs from many existing methods where the encoder and decoder are implemented using separate models. The unified VLP model is pre-trained on a large amount of image-text pairs using the unsupervised learning objectives of two tasks: bidirectional and sequence-to-sequence (seq2seq) masked vision-language prediction. The two tasks differ solely in what context the prediction conditions on. This is controlled by utilizing specific self-attention masks for the shared transformer network. To the best of our knowledge, VLP is the first reported model that achieves state-of-the-art results on both vision-language generation and understanding tasks, as disparate as image captioning and visual question answering, across three challenging benchmark datasets: COCO Captions, Flickr30k Captions, and VQA 2.0. The code and the pre-trained models are available at https://github.com/LuoweiZhou/VLP.

연구 동기 및 목표

• 비전-언어 생성과 이해 작업(예: 이미지 자막 생성 및 VQA)을 모두 처리할 수 있는 하나의 통합 모델의 필요성을 제시한다.
• 인코딩과 디코딩에 파라미터를 공유하는 통합 인코더-디코더 트랜스포머를 제안한다.
• 두 가지 목표(양방향 및 seq2seq 마스킹 비전-언어 예측)로 대규모 이미지-텍스트 쌍에 대해 사전 학습한다.
• 통합 VLP가 다수의 비전-언어 벤치마크에서 최첨단 결과를 달성함을 보여준다.
• 공동 사전 학습과 미세 조정이 학습 속도를 높이고 다운스트림 성능을 향상시킴을 보여준다.

제안 방법

• 인코딩과 디코딩 모두에 대해 12개의 계층을 갖는 단일 Vision-Language Transformer를 사용한다.
• 이미지를 영역 제안으로 표현하고 영역 특징, 클래스 확률 및 기하학 정보를 영역 임베딩에 통합한다.
• 두 가지 비지도 사전 학습 목표를 적용한다: 양방향 예측과 시퀀스-투-시퀀스(seq2seq) 예측을 서로 다른 자기-주의 마스크를 사용한 마스크드 언어 모델링으로 수행한다.
• 전체 양방향 컨텍스트 또는 자동회귀 seq2seq 컨텍스트를 가능하게 하도록 자기-주의 마스크를 조정하여 예측 컨텍스트를 제어한다.
• 다운스트림 작업에 대해 미세 조정한다: seq2seq 생성을 통한 이미지 자막 생성과 고정된 정답 어휘에 대한 다중 라벨 분류로서의 VQA.
• 사전 학습을 위해 Conceptual Captions로 학습하고 downstream 작업에 대해 COCO Captions, Flickr30k Captions, 및 VQA 2.0에서 평가한다.
• 이전 비전-언어 사전 학습 연구와 비교하고 사전 학습 목표, 초기화 및 입력 설계의 효과를 분해 분석하여 비교한다.

실험 결과

연구 질문

• RQ1 공유 파라미터를 가진 단일 통합 인코더-디코더 모델이 비전-언어 생성 및 이해 작업을 효과적으로 지원할 수 있는가?
• RQ2 양방향 및 seq2seq 비전-언어 사전 학습 목표를 공동으로 학습할 때 이미지 자막 생성과 VQA 모두에서 개선을 가져오는가?
• RQ3 대규모 이미지-텍스트 데이터로의 사전 학습이 다운스트림 학습을 가속하고 언어만 사전 학습하거나 사전 학습이 전혀 없는 경우보다 성능을 향상시키는가?
• RQ4 설계 선택(영역 입력, 전처리 태스크, 모델 초기화)이 다운스트림 비전-언어 작업에 미치는 영향은 무엇인가?

주요 결과

• 통합 VLP 모델은 COCO Captions, Flickr30k, VQA 2.0 전반에서 이미지 자막 생성 및 VQA에 대해 최첨단 성능을 달성한다.
• 사전 학습은 다운스트림 미세 조정을 크게 가속하고 비사전 학습 또는 언어전용 베이스라인 대비 작업 성능을 향상시킨다.
• 양방향 및 seq2seq 목표를 함께 학습하면 생성(자막)과 이해(VQA) 작업에 잘 전이되는 강건한 표현이 얻어진다.
• UniLM 또는 BERT 기반 언어 모델에서 초기화하고 영역 수준 입력을 도입하면 자막 생성 및 VQA 성능이 향상된다.
• 단일 공유 트랜스포머 기반 아키텍처가 다운스트림 정확도를 유지하면서 태스크 특화 모델의 필요성을 줄일 수 있다.