[논문 리뷰] Behind the Scene: Revealing the Secrets of Pre-trained Vision-and-Language Models

Jize Cao, Zhe Gan외 4명|arXiv (Cornell University)|2020. 05. 15.

Multimodal Machine Learning Applications참고 문헌 47인용 수 14

한 줄 요약

이 논문은 사전 훈련된 시각-언어 모델이 다중모odal 지식을 어떻게 인코딩하는지 분석하기 위해 타겟된 작업을 통해 작동하는 프로빙 프레임워크 VALUE를 소개한다. 이 프레임워크는 이러한 모델이 추론 중 더 많은 텍스트 입력에 의존하고, 구조적인 교차모odal 어텐션을 보이며, 시각적 관계와 언어 지식을 인코딩한다는 것을 드러내며, 더 나은 모델 설계를 위한 통찰을 제공한다.

ABSTRACT

Recent Transformer-based large-scale pre-trained models have revolutionized vision-and-language (V+L) research. Models such as ViLBERT, LXMERT and UNITER have significantly lifted state of the art across a wide range of V+L benchmarks with joint image-text pre-training. However, little is known about the inner mechanisms that destine their impressive success. To reveal the secrets behind the scene of these powerful models, we present VALUE (Vision-And-Language Understanding Evaluation), a set of meticulously designed probing tasks (e.g., Visual Coreference Resolution, Visual Relation Detection, Linguistic Probing Tasks) generalizable to standard pre-trained V+L models, aiming to decipher the inner workings of multimodal pre-training (e.g., the implicit knowledge garnered in individual attention heads, the inherent cross-modal alignment learned through contextualized multimodal embeddings). Through extensive analysis of each archetypal model architecture via these probing tasks, our key observations are: (i) Pre-trained models exhibit a propensity for attending over text rather than images during inference. (ii) There exists a subset of attention heads that are tailored for capturing cross-modal interactions. (iii) Learned attention matrix in pre-trained models demonstrates patterns coherent with the latent alignment between image regions and textual words. (iv) Plotted attention patterns reveal visually-interpretable relations among image regions. (v) Pure linguistic knowledge is also effectively encoded in the attention heads. These are valuable insights serving to guide future work towards designing better model architecture and objectives for multimodal pre-training.

연구 동기 및 목표

• 사전 훈련된 시각-언어 모델의 성공을 이끄는 내부 메커니즘을 밝혀내는 것.
• 시각과 언어 모달 간의 다중모달 표현이 어떻게 융합되고 정렬되는지 분석하는 것.
• 모델이 시각적 관계, 언어 지식, 교차모달 상호작용을 어느 정도 인코딩하는지 평가하는 것.
• 싱글스트림 및 두 개의 스트림 아키텍처 간의 모달 어텐션 및 지식 인코딩 측면에서의 비교.
• 어텐션 패턴 분 析 기반으로 향후 모델 설계를 위한 실질적인 통찰을 제공하는 것.

제안 방법

• 주의 헤드와 표현에서 지식을 평가하기 위해 시각적 공명 해결, 시각적 관계 검출, SentEval 기반 언어 프로빙을 포함한 일련의 프로빙 작업을 설계.
• 비교 분석을 위해 두 가지 상징적인 모델인 UNITER(싱글스트림)과 LXMERT(두 개의 스트림)에 프레임워크를 적용.
• 네트워크 레이어 전반에 걸쳐 이미지 및 텍스트 표현의 클러스터링 분석을 수행하여 다중모달 융합 정도를 측정.
• 최종 예측에서의 모달 중요도를 평가하기 위해 [CLS] 토큰의 어텐션 트레이스를 분석.
• 이미지 영역과 텍스트 단어 간의 어텐션 패턴을 프로빙하여 교차모달 상호작용을 평가.
• 모델 레이어 전반에서 SentEval 작업에 대해 미세조정하고 성능을 비교함으로써 언어 지식의 정도를 측정.

실험 결과

연구 질문

• RQ1 싱글스트림 및 두 개의 스트림 아키텍처는 레이어 전반에 걸쳐 다중모달 융합 정도에서 어떻게 다릅니까?
• RQ2 최종 예측에서 어떤 모달—이미지 또는 텍스트—가 지배적인가요? 이는 모델에 따라 어떻게 달라지나요?
• RQ3 어느 정도의 어조 헤드가 교차모달 정렬을 특별히 캡처하는가요? 만약 그렇다면, 그들은 어떻게 분포되어 있나요?
• RQ4 모델이 이미지 영역 간의 시각적 관계를 어느 정도 인코딩하는가요? 입력 불일치에 대해 얼마나 강건한가요?
• RQ5 사전 훈련된 V+L 모델이 BERT에 비해 언어 지식을 얼마나 효과적으로 인코딩하는가요? 이는 아키텍처에 따라 어떻게 다릅니까?

주요 결과

• 사전 훈련된 모델들은 추론 중에 시각적 입력보다 텍스트 입력에 더 많은 주의를 기울이는 경향을 보이며, 최종 예측은 언어에 더 의존한다.
• 두 모델 모두 특정 어조 헤드가 교차모달 상호작용을 위해 특별히 튜닝되어 있으며, UNITER와 같은 싱글스트림 모델에서 더 자연스럽게 나타난다.
• 사전 훈련된 모델의 어텐션 매트릭스는 이미지 영역과 관련된 텍스트 단어를 정렬하는 일관되고 시각적으로 해석 가능한 패턴을 보인다.
• 불일치한 캡션 조건에서도 시각적 관계 검출 성능이 높게 유지되며, 이는 두 모델 유형 모두에서 시각적 관계가 강력하게 인코딩되어 있음을 시사한다.
• 언어 지식은 어조 헤드에 효과적으로 인코딩되어 있으나, BERT 기반 초기화 덕분에 싱글스트림 모델(예: UNITER)이 두 개의 스트림 모델(예: LXMERT)보다 SentEval 벤치마크에서 더 뛰어난 성능을 보인다.
• 두 개의 스트림 아키텍처는 관련 없는 텍스트 입력에 더 민감하며, 짝지어지지 않은 캡션과 조합될 경우 시각적 표현이 상당히 악화되지만, 싱글스트림 모델은 이와 같은 영향을 덜 받는다.