[논문 리뷰] MUREL: Multimodal Relational Reasoning for Visual Question Answering

Rémi Cadène, Hedi Ben-younes외 2명|HAL (Le Centre pour la Communication Scientifique Directe)|2019. 02. 25.

Multimodal Machine Learning Applications참고 문헌 40인용 수 24

한 줄 요약

MUREL은 시각질문응답(VQA)를 위한 다중모odal 상호관계 추론 네트워크를 제안하며, 표준 어텐션 기반 기법을 대체하기 위해 학습 가능한 MuRel 셀을 도입하여 이미지 영역과 질문 표현 간의 풍부한 쌍별 상호작용을 모델링한다. 이러한 상호관계 특징을 반복적으로 개선함으로써 MUREL은 VQA 2.0, VQA-CP v2, TDIUC에서 최신 기준 성능을 달성하며 어텐션 기반 모델을 능가하고 언어적 편향에 대한 강건성을 보여준다.

ABSTRACT

Multimodal attentional networks are currently state-of-the-art models for Visual Question Answering (VQA) tasks involving real images. Although attention allows to focus on the visual content relevant to the question, this simple mechanism is arguably insufficient to model complex reasoning features required for VQA or other high-level tasks. In this paper, we propose MuRel, a multimodal relational network which is learned end-to-end to reason over real images. Our first contribution is the introduction of the MuRel cell, an atomic reasoning primitive representing interactions between question and image regions by a rich vectorial representation, and modeling region relations with pairwise combinations. Secondly, we incorporate the cell into a full MuRel network, which progressively refines visual and question interactions, and can be leveraged to define visualization schemes finer than mere attention maps. We validate the relevance of our approach with various ablation studies, and show its superiority to attention-based methods on three datasets: VQA 2.0, VQA-CP v2 and TDIUC. Our final MuRel network is competitive to or outperforms state-of-the-art results in this challenging context. Our code is available: https://github.com/Cadene/murel.bootstrap.pytorch

연구 동기 및 목표

• 어떤 어텐션 기반 모델이 부드러운 영역 선택을 넘어서 복잡한 시각적 추론을 포괄하지 못하는 한계를 해결하기 위해.
• 이미지 영역과 질문 토큰 간의 상호작용을 명시적으로 모델링하는 학습 가능한 엔드 투 엔드 다중모달 상호관계 네트워크를 개발하기 위해.
• 답변 빈도 패턴에 의존하는 것이 아니라 시각적 및 상호관계 기반 신호에 기반함으로써 VQA에서 언어적 편향에 대한 강건성을 향상시키기 위해.
• 쌍별 영역 관계 기반의 시각화 기법을 통해 더 세밀한 해석 가능성 제공하기 위해.
• 실제 이미지 기반 VQA에서 상호관계 추론의 효과성을 추론 실험과 벤치마크 비교를 통해 검증하기 위해.

제안 방법

• 질문 임bedding와 이미지 영역 특징 간의 풍부한 벡터 기반 상호작용을 인코딩하는 학습 가능한 기본 요소인 MuRel 셀을 도입한다.
• 요소별 연산과 연결을 통해 이미지 영역 간의 쌍별 관계를 모델링하여 어텐션을 넘어서는 상호관계 추론을 가능하게 한다.
• MuRel 셀을 다중 회수 반복적으로 스택하여 이미지와 질문의 공동 표현을 점진적으로 개선하는 반복 아키텍처를 채택한다.
• 이미지 영역 입력으로는 Faster R-CNN 등에서 유도된 바텀업 객체 검출 특징을 사용하며, 질문 표현은 BERT 또는 GRU 기반 임베딩을 결합한다.
• 표준 어텐션 맵을 넘어서, 답변에 가장 관련성이 높은 영역과 관계를 강조하기 위해 미분 가능한 시각화 메커니즘을 적용한다.
• 답변 예측에 대한 교차 엔트로피 손실을 사용하여 전체 네트워크를 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 학습 가능한 관계 기반 메커니즘이 VQA의 복잡한 시각적 추론을 모델링하는 데 있어 표준 어텐션 기반 기법을 능가할 수 있는가?
• RQ2 쌍별 영역 관계의 명시적 모델링이 실제 이미지 기반 VQA에서 일반화 능력과 언어적 편향에 대한 강건성을 향상시키는가?
• RQ3 다중모달 표현의 반복적 개선이 더 높은 정확도와 더 해석 가능한 의사결정 과정을 이끌 수 있는가?
• RQ4 제안된 상호관계 추론 메커니즘이 표준 및 편향된 VQA 벤치마크에서 어텐션 기반 기준 모델과 비교해 어떻게 성능을 내는가?
• RQ5 모델의 시각적 요소와 관계 기반 요소가 복잡한 VQA 작업에서 성능 향상에 얼마나 기여하는가?

주요 결과

• TDIUC 데이터셋에서 MUREL은 테스트 정확도 88.20%를 기록하여 이전 최고 성능보다 3.17%p 높게 달성했다.
• VQA-CP v2 데이터셋에서 MUREL은 총 정확도 39.54%를 기록하여 바텀업 특징을 사용하는 강력한 기준 어텐션 모델보다 1.50%p 높은 성능을 보였다.
• VQA 2.0에서 MUREL은 85.03%의 정확도를 기록하여 이전 최고 기록보다 1.22%p 높았다.
• 추론 실험 결과, 벡터 표현과 쌍별 관계 모델링 모두 성능 향상에 기여하며, 반복적 개선 메커니즘이 추가로 성능을 향상시킴을 확인했다.
• 정성적 분석 결과, MUREL은 사람의 키트를 쥐고 있는 것과 같은 의미적으로 관련된 영역과 관계를 정확히 식별함으로써 언어적 편향을 넘어서는 추론 능력을 보였다.
• 관계 기반 메커니즘의 시각화 결과, 초록색(가장 관련성 있음)과 빨간색(가장 영향력 있음) 영역이 인간의 직관과 일치하며, 설명 가능한 추론 경로를 제공한다.