[논문 리뷰] ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks

Jiasen Lu, Dhruv Batra외 2명|arXiv (Cornell University)|2019. 08. 06.

Multimodal Machine Learning Applications참고 문헌 30인용 수 1,673

한 줄 요약

ViLBERT는 대형 캡션 기반 데이터에서 시각-언어 표현을 사전 학습하고 다양한 비전-언어 작업으로 이전하는 공동 어텐션 두 스트림 모델을 도입하여 최첨단 성능을 달성한다.

ABSTRACT

We present ViLBERT (short for Vision-and-Language BERT), a model for learning task-agnostic joint representations of image content and natural language. We extend the popular BERT architecture to a multi-modal two-stream model, pro-cessing both visual and textual inputs in separate streams that interact through co-attentional transformer layers. We pretrain our model through two proxy tasks on the large, automatically collected Conceptual Captions dataset and then transfer it to multiple established vision-and-language tasks -- visual question answering, visual commonsense reasoning, referring expressions, and caption-based image retrieval -- by making only minor additions to the base architecture. We observe significant improvements across tasks compared to existing task-specific models -- achieving state-of-the-art on all four tasks. Our work represents a shift away from learning groundings between vision and language only as part of task training and towards treating visual grounding as a pretrainable and transferable capability.

연구 동기 및 목표

• 비전-언어(V+L) 작업에 대해 단일의 작업 비의존적(pretraining) 접근법을 제시하여 다양한 다운스트림 작업으로의 이전 가능성을 보인다.
• 시각적 정보와 텍스트 정보를 효과적으로 융합하는 공동 어텐션 두 스트림 아키텍처를 개발한다.
• 대규모 캡션 유사 데이터에서의 사전 학습이 VQA, VCR, 참조 표현 작업에 캡션 생성뿐만 아니라 이점이 있음을 Demonstrate한다.

제안 방법

• 교차 모달 어텐션으로 시각적 입력과 텍스트 입력을 처리하는 공동 어텐션 두 스트림 모델을 도입한다.
• 대규모 시각-언어 데이터에서 모델을 사전 학습하여 V+L 작업 전반에 일반화되는 grounded 표현을 학습한다.
• 사전 학습 구성요소(예: 마스킹 손실, 정렬 손실, 공동 어텐션)의 제거를 통해 다운스트림 작업에 미치는 영향을 평가한다.
• 기준선과 비교하고 캡션 스타일 데이터에서 비캡션 스타일 작업(VQA, VCR, RefCOCO+)으로의 이전을 논의한다.
• 층과 어텐션 방향에 따른 grounding 행동을 분석하기 위해 주의 패턴을 시각화한다.

실험 결과

연구 질문

• RQ1 단일 시각-언어 사전 학습 목표가 작업별 헤드 없이도 여러 V+L 작업으로 효과적으로 이전될 수 있는 표현을 생성할 수 있는가?
• RQ2 공동 어텐션 두 스트림 아키텍처가 비전-언어 작업에서 단일 모달 모델(BERT 등)의 확장보다 더 우수한가?
• RQ3 다양한 사전 학습 구성요소(마스킹, 정렬, 공동 어텐션)가 다운스트림 V+L 성능에 어떤 영향을 미치는가?
• RQ4 대형 캡션 유사 데이터(CAPTION-like data; Conceptual Captions)에서의 사전 학습이 VQA, RefCOCO+, VCR에 미치는 영향은 사전 학습 여부 또는 grounding 사전학습 여부와 비교하여 어떤가?
• RQ5 레이어와 모달리티 전반에 걸친 grounding 및 attention grounding 특성은 어떤가?

주요 결과

• 향상된 비전-언어 작업 성능을 달성했고 최근 VQA 챌린지 우승자보다 앞섰다는 보고가 있어 강력한 SOTA 잠재력을 시사한다.
• 마스킹 제거, 정렬 제거, 공동 어텐션 제거는 다운스트림 작업 성능을 저하시켰으며, 특히 마스킹 손실의 중요성이 두드러진다.
• Conceptual Captions 기반 사전 학습은 CC와 다운스트림 작업 간 도메인 차이가 있어도 V+L 작업으로의 이전을 가능하게 한다.
• 이미지-텍스트 공동 어텐션은 초기 레이어에서 grounding되는 경향이 있고 텍스트-이미지 공동 어텐션은 초기 레이어에서 더 많이 grounding되고 이후 레이어에서 더 넓게 작동하는 경향을 보인다.
• 전체 사전 학습 대비 w/o pretraining 구성에서 VQA 및 RefCOCO+에서 상당한 이득을 보여 시각-언어 사전 학습의 효과를 뚜렷이 뒷받침한다.