[논문 리뷰] What BERT Sees: Cross-Modal Transfer for Visual Question Generation

Thomas Scialom, Patrick Bordes외 3명|arXiv (Cornell University)|2020. 02. 25.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 추가적인 사전 훈련 없이도 시각적 질문 생성(VQG)에 사전 훈련된 BERT를 활용하는 새로운 텍스트 생성 프레임워크인 BERT-gen을 제안한다. 시각적 객체 특징을 BERT의 입력 임베딩과 일치시키기 위해 단순한 선형 투영을 적용함으로써, 모델은 VQG 벤치마크에서 최신 기술 성능(SOTA)을 달성한다. 이는 BERT의 표현 방식이 최소한의 미세조정과 명시적 다중모달 사전 훈련 없이도 자연스럽게 다중모달로 일반화된다는 것을 보여준다.

ABSTRACT

Pre-trained language models have recently contributed to significant advances in NLP tasks. Recently, multi-modal versions of BERT have been developed, using heavy pre-training relying on vast corpora of aligned textual and image data, primarily applied to classification tasks such as VQA. In this paper, we are interested in evaluating the visual capabilities of BERT out-of-the-box, by avoiding pre-training made on supplementary data. We choose to study Visual Question Generation, a task of great interest for grounded dialog, that enables to study the impact of each modality (as input can be visual and/or textual). Moreover, the generation aspect of the task requires an adaptation since BERT is primarily designed as an encoder. We introduce BERT-gen, a BERT-based architecture for text generation, able to leverage on either mono- or multi- modal representations. The results reported under different configurations indicate an innate capacity for BERT-gen to adapt to multi-modal data and text generation, even with few data available, avoiding expensive pre-training. The proposed model obtains substantial improvements over the state-of-the-art on two established VQG datasets.

연구 동기 및 목표

• 사전 훈련된 BERT 모델이 명시적 다중모달 사전 훈련 없이도 다중모달 시각적 추상화를 내재적으로 포함하고 있는지 조사하는 것.
• 단일모달 및 다중모달 입력을 모두 지원하는 BERT 기반 텍스트 생성 프레임워크를 개발하는 것.
• BERT를 시각 데이터에 정렬하기 위한 최소한의 적응, 특히 선형 투영층의 효과성을 평가하는 것.
• BERT가 VQG 데이터에 대한 미세조정만으로도 이미지에 기반한 문맥적으로 관련된 질문을 생성할 수 있는지 보여주는 것.
• BERT-gen의 주의 메커니즘과 다중모달 일치를 분석하여 다양한 모odal 간의 모델 행동을 해석하는 것.

제안 방법

• BERT-gen은 입력 표현을 수정하여 BERT를 자동회귀 디코더로 변환함으로써, 시각적 객체 특징을 시퀀스 토큰으로 포함시킨다.
• 시각적 특징은 Faster R-CNN를 통해 추출되며, 추가적인 비선형성 없이 학습 가능한 선형층을 통해 BERT의 임베딩 공간으로 투영된다.
• 모델은 이미지를 객체 영역(경계 상자 포함)의 시퀀스로 간주하고, 단어와 유사하게 토크나이즈함으로써 텍스트와 시각적 객체 간의 공동 주의를 가능하게 한다.
• 최종 BERT 레이어의 모든 헤드에 걸쳐 주의 가중치를 평균하여 교차모달 주의를 분석함으로써, 모델이 어떤 단어와 이미지 영역에 주목하는지 시각화한다.
• 교차모달 유사도는 BERT 레이어 전반에서 이미지와 해당 캡션의 [CLS] 임베딩 간 코사인 유사도를 통해 계산되며, 일치 정도를 측정한다.
• 다양한 설정(캡션 전용, 이미지 전용, 이미지 + 캡션 입력)에서 성능를 비교하는 광범위한 추상화 연구를 수행하며, 시각적 투영 행렬의 사용을 통제한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 BERT가 다중모달 사전 훈련이나 시각 데이터에 대한 미세조정 없이도 시각적으로 기반된 질문을 생성할 수 있는가?
• RQ2 간단한 선형 투영층이 시각적 객체 특징을 BERT의 텍스트 표현과 일치시키기 위해 효과적인가?
• RQ3 질문 생성 중 BERT-gen의 주의 메커니즘이 텍스트 단어와 시각적 객체 영역 간에 어떻게 분포되는가?
• RQ4 VQG에 대한 미세조정 과정에서 이미지의 [CLS] 토큰 표현과 캡션의 표현이 얼마나 의미적으로 일치하는가?
• RQ5 학습 시 텍스트 캡션을 추가로 제공하는 것이 이미지 전용 입력에 비해 다중모달 일치 및 생성 품질을 향상시키는가?

주요 결과

• BERT-gen은 두 가지 기존의 VQG 벤치마크에서 최신 기술 성능(SOTA)을 달성하며, 추가 사전 훈련 없이도 기존 방법들을 능가한다.
• 모델는 강력한 제로샷 다중모달 일반화 성능를 보이며, 사전 훈련 단계에서 명시적 이미지-텍스트 일치가 없더라도 시각적 콘텐츠에 관련된 질문을 생성하는 데 성공한다.
• 교차모달 유사도(X_sim)는 최종 BERT 레이어에서 크게 증가하며, Image + Caption > Image only > Caption only 순서로 나타나, 미세조정을 통한 효과적인 일치가 이루어졌음을 시사한다.
• 주의 시각화 결과는 캡션에 언급되지 않은 요소(예: 시계, 우산)와 같은 관련 시각적 객체에 모델이 정확히 주목하고 있음을 보여주며, 이는 시각적 기반의 정확성을 확인한다.
• 이미지 전용 설정에서는 잘못된 시각적 오해(예: 남성 대신 여성과 우산)를 올바르게 수정함으로써 강력한 시각적 추론 능력을 보여준다.
• 무작위 트랜스포머 베이스라인은 거의 제로에 가까운 X_sim를 보이며, BERT-gen에서 관찰된 일치가 랜덤 상관관계가 아니라 학습된 표현에 기인한 것임을 확인한다.