[논문 리뷰] Multimodal Unified Attention Networks for Vision-and-Language Interactions

Yu Zhou, Yuhao Cui외 3명|arXiv (Cornell University)|2019. 08. 12.

Multimodal Machine Learning Applications참고 문헌 69인용 수 33

한 줄 요약

MUAN은 멀티모달 데이터에서 intra-모달 및 inter-모달 상호작용을 함께 모델링하는 통합 어텐션 블록을 도입하고, 이를 MUAN에 쌓아 VQA와 시각적 바인딩에서 작업별 튜닝 없이도 강력한 성능을 달성합니다.

ABSTRACT

Learning an effective attention mechanism for multimodal data is important in many vision-and-language tasks that require a synergic understanding of both the visual and textual contents. Existing state-of-the-art approaches use co-attention models to associate each visual object (e.g., image region) with each textual object (e.g., query word). Despite the success of these co-attention models, they only model inter-modal interactions while neglecting intra-modal interactions. Here we propose a general `unified attention' model that simultaneously captures the intra- and inter-modal interactions of multimodal features and outputs their corresponding attended representations. By stacking such unified attention blocks in depth, we obtain the deep Multimodal Unified Attention Network (MUAN), which can seamlessly be applied to the visual question answering (VQA) and visual grounding tasks. We evaluate our MUAN models on two VQA datasets and three visual grounding datasets, and the results show that MUAN achieves top-level performance on both tasks without bells and whistles.

연구 동기 및 목표

• 멀티모달 데이터에서 intra-모달 및 inter-모달 상호작용을 모두 포착하는 어텐션 메커니즘을 동기 부여하고 개발한다.
• self-attention에 게이팅을 추가해 특징의 가중치를 재조정하는 통합 어텐션 (UA) 블록을 제안한다.
• UA 블록을 쌓아 VQA 및 시각적 바인딩에 적용 가능한 심층 MUAN 아키텍처를 형성한다.
• 다수의 VQA 및 시각적 바인딩 벤치마크에서 최첨단 또는 경쟁력 있는 결과를 보여준다.

제안 방법

• 기본 단위로 Gated Self-Attention (GSA)을 도입하고, 어텐션 전에 Q와 K를 재가중하기 위해 바이리니어 풀링 기반 게이팅을 사용한다.
• 단일 프레임워크 내에서 intra-modal (VV, TT) 및 inter-modal (VT, TV) 상호작용을 함께 모델링하는 Unified Attention (UA) 블록을 정의한다.
• 다수의 UA 블록을 쌓아 MUAN-L을 형성하여 심층 멀티모달 추론을 가능하게 하고 엔드투엔드 학습을 가능하게 한다.
• VQA의 경우 질문에 [ans] 토큰을 추가하고 그 주의된 특성에서 정답을 예측한다.
• 시각적 바인딩의 경우 영역 점수를 예측하고 다중 작업 손실(랭킹 및 회귀)을 통해 경계 상자를 정제한다.
• Adam으로 학습하고 이미지와 질문의 사전 추출 표현을 사용한다(텍스트는 GloVe+LSTM; 이미지은 CNN/객체 검출기 특징).

실험 결과

연구 질문

• RQ1 동일 모달리티 내의 intra-modal 상호작용이 inter-modal 상호작용과 함께 모델링될 때 멀티모달 추론을 향상시킬 수 있는가?
• RQ2 통합 어텐션 메커니즘이 VQA 및 시각적 바인딩 작업에서 순차적 self-attention 다음의 co-attention보다 성능이 우수한가?
• RQ3 통합 어텐션에서 게이팅의 성능 및 견고성 영향은 무엇인가?
• RQ4 표준 VQA 및 시각적 바인딩 벤치마크에서 MUAN은 최신 방법과 어떻게 비교되는가?

주요 결과

• MUAN은 여러 baselines 대비 VQA 성능을 향상시키며, bottom-up 특징을 사용한 VQA-v2에서 70.82% test-dev 및 86.77% test-std 전반 정확도를 달성한다.
• MUAN은 VQA-v2에서 BAN, BAN+Counter, DFAF, MCAN 등 이전 메서드를 능가하며, 표준 특징을 사용한 test-std에서 단일 모델 접근 방식 중 최고 성능을 달성한다.
• CLEVR에서 MUAN은 98.7% 정확도를 달성하여 인간 수준에 근접하고 여러 이전 방법을 능가한다.
• Ablation 연구는 self-attention과 co-attention이 MUAN에 기여함을 보여주고, co-attention은 얕은 모델에서 특히 영향을 크게 미치며; 게이팅은 구성에 따라 측정 가능한 개선을 제공한다.
• 더 깊은 MUAN (더 큰 L)은 일반적으로 L=10 근방에서 포화 지점까지 정확도를 향상시키며, 데이터셋 의존적 한계로 인해 더 깊은 통합 추론의 이점을 나타낸다.