[논문 리뷰] Causal Attention for Vision-Language Tasks

Xu Yang, Hanwang Zhang외 2명|arXiv (Cornell University)|2021. 03. 05.

Multimodal Machine Learning Applications참고 문헌 76인용 수 5

한 줄 요약

이 논문은 시각-언어 모델에서 관측되지 않은 혼동 요인의 영향을 줄이기 위해 전방 조정(front-door adjustment)를 활용하는 새로운 어텐션 메커니즘인 Causal Attention (CATT)을 제안한다. In-Sample Attention와 Cross-Sample Attention을 결합함으로써 CATT는 다양한 시각-언어 작업에서 모델의 일반화 능력을 향상시키며, LXMERT 및 트랜스포머 기반 모델에서 유의미한 성능 향상을 이끌어내어 최신 기준 성능에 도달한다.

ABSTRACT

We present a novel attention mechanism: Causal Attention (CATT), to remove the ever-elusive confounding effect in existing attention-based vision-language models. This effect causes harmful bias that misleads the attention module to focus on the spurious correlations in training data, damaging the model generalization. As the confounder is unobserved in general, we use the front-door adjustment to realize the causal intervention, which does not require any knowledge on the confounder. Specifically, CATT is implemented as a combination of 1) In-Sample Attention (IS-ATT) and 2) Cross-Sample Attention (CS-ATT), where the latter forcibly brings other samples into every IS-ATT, mimicking the causal intervention. CATT abides by the Q-K-V convention and hence can replace any attention module such as top-down attention and self-attention in Transformers. CATT improves various popular attention-based vision-language models by considerable margins. In particular, we show that CATT has great potential in large-scale pre-training, e.g., it can promote the lighter LXMERT~\cite{tan2019lxmert}, which uses fewer data and less computational power, comparable to the heavier UNITER~\cite{chen2020uniter}. Code is published in \url{https://github.com/yangxuntu/catt}.

연구 동기 및 목표

• 모델이 훈련 데이터에서 유사 상관관계를 학습하는 등 지속적인 혼동 편향 문제를 해결한다.
• 관측된 혼동 요인 또는 강한 가정이 필요로 하는 기존의 혼동 제거 방법의 한계를 극복한다.
• 기존 트랜스포머 아키텍처와 호환되는 플러그인 형 어텐션 메커니즘을 개발하여 모델의 강건성과 일반화 능력을 향상시킨다.
• 혼동 요인을 관측하지 않더라도 전방 조정 원리를 활용해 효과적인 인과적 간섭을 가능하게 한다.
• 이미지 캡션 및 VQA를 포함한 다양한 시각-언어 벤치마크에서 CATT의 효과성을 입증한다. 특히 저데이터 및 대규모 사전학습 설정에서 성능을 확인한다.

제안 방법

• 표준 어텐션 모듈의 대체로 Causal Attention (CATT)를 제안하며, In-Sample Attention (IS-ATT)와 Cross-Sample Attention (CS-ATT)를 결합하여 인과적 간섭을 시뮬레이션한다.
• IS-ATT는 동일한 샘플의 특징에 대해 표준 어텐션을 적용하고, CS-ATT는 다른 샘플의 전역 특징 딕셔너리에 대해 어텐션을 적용하여 간섭 분포를 모방한다.
• 관측된 배경로를 기반으로 혼동 요인을 관측하지 않더라도 시각 입력이 언어 출력에 미치는 인과적 영향을 추정하기 위해 전방 조정 프레임워크를 사용한다.
• 표준 Q-K-V 어텐션 메커니즘을 유지하여 CATT가 기존 트랜스포머 및 상향식 어텐션 모듈에 직접 통합될 수 있도록 한다.
• K-평균 초기화와 미세조정을 통해 전역 시각 및 단어 딕셔너리를 엔드 투 엔드로 훈련시켜 인과적 특징을 대표하는 특징을 학습한다.
• 각 CATT 블록에서 IS-ATT와 CS-ATT 간에 파라미터를 공유하여 특징 공간의 일관성을 유지하고 파라미터 오버헤드를 줄인다.

Figure 1: Top: an example of image captioner with a self-attention and a top-down attention modules. Bottom: the corresponding causal graph. The reason why the prediction is “riding” but not “driving” is explained in Figure 3 .

실험 결과

연구 질문

• RQ1 혼동 요인을 알지 못하더라도 인과적 어텐션 메커니즘이 시각-언어 모델의 유사 상관관계를 줄일 수 있는가?
• RQ2 Zipf의 법칙 및 사회적 관례와 같은 데이터셋 편향이 존재할 때 CATT는 모델의 일반화 능력을 어떻게 향상시키는가?
• RQ3 LXMERT와 같은 모델에서 저데이터 및 대규모 사전학습 환경에서 CATT는 어느 정도 성능 향상을 이룰 수 있는가?
• RQ4 CATT는 이미지 캡션 및 VQA 벤치마크에서 표준 어텐션 메커니즘보다 우월한 성능을 보이는가?
• RQ5 CATT는 아키텍처의 대대적인 개편 없이 기존 트랜스포머 기반 아키텍처에 원활하게 통합될 수 있는가?

주요 결과

• CATT는 이미지 캡션 및 VQA에서 성능을 크게 향상시키며, 트랜스포머 + CATT 조합이 38.8 BLEU-4, 70.6 CIDEr, 128.8 테스트 손실을 기록하여 기본 트랜스포머를 능가한다.
• LXMERT 모델에서 CATT는 더 가벼운 모델이 무거운 UNITER 모델의 성능을 따라잡을 수 있도록 해, 뛰어난 효율성과 일반화 능력을 입증한다.
• 정성적 결과에서는 CATT가 '요리'와 같은 유사 상관관계(예: '여자'와 '주방')에 의존하지 않고도 이미지 캡션에서 성별을 정확히 예측한다.
• CATT는 사전학습이 어텐션 품질에 악영향을 미치는 것을 완화하며, 대규모 사전학습 후 표준 모델에서 관찰되는 열화 경향을 뒤집는다.
• 정확한 맥락이 '승용차를 운전하는 것'일 때, '사람'과 '말' 등의 유사 객체 쌍에 대한 어텐션을 효과적으로 줄인다.
• CATT는 VQA 및 이미지 캡션을 포함한 여러 데이터셋과 작업에서 일관된 성능 향상을 유지하며, BLEU, CIDEr, 정확 매칭 지표에서 유의미한 향상을 이룬다.

Figure 2: Before pre-training ( \eg , LXMERT [ 61 ] ), attentions are correct (blue). After pre-training, attentions are wrong (red). This is because the co-occurrences of some concepts appear much more often than others, \eg , “Sport+Man” appears 213 times more than “Sport+Screen” in the pre-traini