[논문 리뷰] Dynamic Fusion with Intra- and Inter- Modality Attention Flow for Visual Question Answering

Peng Gao, Zhengkai Jiang외 5명|arXiv (Cornell University)|2018. 12. 13.

Multimodal Machine Learning Applications참고 문헌 48인용 수 17

한 줄 요약

이 논문은 시각적 질문 응답(VQA)를 위한 새로운 프레임워크인 내부 및 상호 모odal 간 주의 흐름을 갖춘 동적 융합(DFAF)을 제안한다. 이 방법은 상호 모달 간 공주의 주의와 모달 조건부 내부 모달 자기 주의를 번갈아 적용하여 시각적 및 언어적 특징을 동적으로 융합한다. 이는 고수준의 상호 작용을 동시에 모델링하면서 다른 모달의 내용에 따라 내부 모달 주의를 동적으로 조절함으로써 VQA 2.0에서 최고 성능을 기록하며, 총 정확도 70.34%를 달성한다.

ABSTRACT

Learning effective fusion of multi-modality features is at the heart of visual question answering. We propose a novel method of dynamically fusing multi-modal features with intra- and inter-modality information flow, which alternatively pass dynamic information between and across the visual and language modalities. It can robustly capture the high-level interactions between language and vision domains, thus significantly improves the performance of visual question answering. We also show that the proposed dynamic intra-modality attention flow conditioned on the other modality can dynamically modulate the intra-modality attention of the target modality, which is vital for multimodality feature fusion. Experimental evaluations on the VQA 2.0 dataset show that the proposed method achieves state-of-the-art VQA performance. Extensive ablation studies are carried out for the comprehensive analysis of the proposed method.

연구 동기 및 목표

• 기존의 VQA 방법들이 주로 상호 모달 간 관계에 집중하면서 시각 및 언어 모달 내의 보완적인 내부 모달 간 관계를 간과하는 한계를 해결하기 위해.
• 상호 및 내부 모달 정보 흐름을 동시에 모델링하는 통합 프레임워크를 개발하여 VQA에서 특징 융합을 향상시키기 위해.
• 다른 모달의 내용에 따라 내부 모달 주의를 동적으로 조절하여 각 모달 내에서 맥락 인식 특징 개선을 가능하게 하기 위해.
• 반복적인 주의 흐름을 통해 시각적 영역과 질문 단어 사이의 복잡한 고수준 상호 작용을 포착하여 VQA 성능을 향상시키기 위해.

제안 방법

• 모달 간 및 내부 모달 간 정보 흐름을 전달하기 위해 상호 모달 주의 흐름(InterMAF)과 동적 내부 모달 주의 흐름(DyIntraMAF)의 번갈아 가며 작용하는 블록을 사용한다.
• InterMAF는 시각적 영역과 질문 단어 간의 공동 공주의 주의 행렬을 계산하여 주의 가중치 기반 집합을 통한 상호 모달 특징 융합을 가능하게 한다.
• DyIntraMAF는 각 모달 내에서 자기 주의를 적용하지만, 다른 모달의 특징을 사용해 주의 가중치를 동적으로 조절함으로써 맥락 인식 특징 학습을 향상시킨다.
• 내부 모달 주의의 동적 조절은 관련 없는 정보 흐름을 제거하여 특징 표현의 품질을 향상시킨다.
• 여러 개의 DFAF 블록을 쌓아가며 특징을 점차적으로 정제하고 주목할 만한 이미지 영역과 질문 단어에 집중한다.
• 향상된 입력 표현을 위해 하부-업 탐지에서 유도된 시각적 특징과 컨텍스트 기반 단어 임베딩(BERT 등)을 통합한다.

실험 결과

연구 질문

• RQ1 상호 및 내부 모달 주의 흐름을 동시에 모델링하는 것이 상호 모달 간 상호 작용에만 집중하는 기존 방법에 비해 VQA 성능 향상에 기여하는가?
• RQ2 다른 모달의 정보로 내부 모달 주의를 조절할 경우 특징 표현과 후속 작업 정확도에 어떤 영향을 미치는가?
• RQ3 제안된 동적 융합 메커니즘이 정적 또는 순수한 내부 모달 메시지 전달 방식보다 다중 모달 추론 작업에서 우월한가?
• RQ4 이 프레임워크는 예/아니요, 세는, 개방형 질문과 같은 다양한 질문 유형으로 일반화되는가?

주요 결과

• 제안된 DFAF 프레임워크는 VQA 2.0 검증 세트에서 86.09%의 정확도를 기록하여 이전 최고 성능 방법을 초월한다.
• BERT 기반 컨텍스트 임베딩을 사용할 경우, 검증 세트에서 86.73%의 정확도와 표준 테스트 세트에서 70.81%의 정확도를 기록하여 새로운 최고 성능(SOTA)을 달성한다.
• 제거 실험 결과, 다른 모달에 의해 조절되는 DyIntraMAF가 교차 모달 조건 없이 표준 내부 모달 자기 주의보다 유의미하게 높은 성능을 내는 것으로 확인되었다.
• 시각화 결과, DyIntraMAF가 질문에 따라 관련 없는 영역을 동적으로 필터링하여 더 해석 가능하고 정확한 주의 가중치를 생성하는 것으로 나타났다.
• 절대 또는 상대적 위치 임베딩을 추가하면 성능이 떨어지며, 이는 모델이 위치 사전 지식이 아닌 주의 기반 추론에 의존한다는 것을 시사한다.
• 같은 파arameter 예산 하에서 8개의 주의 헤드가 1, 4, 8개의 헤드보다 더 높은 성능을 내며, 이는 다중 헤드 주의가 이 프레임워크에서 효과적임을 확인한다.