[논문 리뷰] Reciprocal Attention Fusion for Visual Question Answering.

Moshiur Farazi, Salman Khan|arXiv (Cornell University)|2018. 01. 01.

Multimodal Machine Learning Applications인용 수 8

한 줄 요약

이 논문은 하향식 및 상향식 주의 메커니즘을 사용하여 개체 수준 및 격자 수준의 시각적 특징 간의 관계를 공동으로 모델링하는 상호 주의 융합 기법을 제안한다. 텐서 분해를 통해 계층적으로 다중 모odal 특징을 융합함으로써, 단일 모델 성능이 최고 수준에 도달하여 VQAv1에서 68.2%의 VQA 정확도를 달성하고 VQAv2에서 67.4%에 이를 수 있었다.

ABSTRACT

Existing attention mechanisms either attend to local image grid or object level features for Visual Question Answering (VQA). Motivated by the observation that questions can relate to both object instances and their parts, we propose a novel attention mechanism that jointly considers reciprocal relationships between the two levels of visual details. The bottom-up attention thus generated is further coalesced with the top-down information to only focus on the scene elements that are most relevant to a given question. Our design hierarchically fuses multi-modal information i.e., language, object- and gird-level features, through an efficient tensor decomposition scheme. The proposed model improves the state-of-the-art single model performances from 67.9% to 68.2% on VQAv1 and from 65.7% to 67.4% on VQAv2, demonstrating a significant boost.

연구 동기 및 목표

• 기존의 VQA 모델이 국소적인 이미지 격자 또는 개체 수준의 특징에만 집중하여 세밀한 시각적 관계를 놓치는 한계를 해결하기 위해.
• 개체 인스턴스와 그 부분 간의 상호 주의를 모델링하여 VQA 성능을 향상시키기 위해.
• 언어, 개체 수준, 격자 수준의 특징을 효율적으로 통합하는 계층적 융합 기법을 개발하기 위해.
• 기본 VQA 벤치마크에서 최고 수준의 단일 모델 성능을 달성하기 위해.

제안 방법

• 개체 수준 및 격자 수준의 시각적 특징 간의 상호 작용을 모델링하는 상호 주의 메커니즘을 제안한다.
• 하향식 주의를 사용하여 개체 및 격자 수준의 시각적 표현을 생성한다.
• 질문에 기반한 상향식 주의를 통합하여 관련된 시cene 요소에 대한 집중을 개선한다.
• 언어, 개체, 격자 특징을 계층적으로 융합하기 위해 효율적인 텐서 분해 기법을 적용한다.
• 융합된 특징을 활용하여 입력 질문에 더 부합하는 답변을 예측한다.

실험 결과

연구 질문

• RQ1 개체 인스턴스와 그 부분 간의 상호 관계를 모델링하면 VQA 성능이 향상되는가?
• RQ2 개체 수준 및 격자 수준의 특징에 대한 공동 주의가 VQA에서 시각적 기반을 향상시키는가?
• RQ3 텐서 분해를 통한 다중 모달 특징의 계층적 융합이 VQA 벤치마크 정확도에 얼마나 기여하는가?
• RQ4 앙상블 기법 없이도 단일 모델 아키텍처가 이전의 최고 성능 방법을 초월할 수 있는가?

주요 결과

• 제안된 모델은 VQAv1 데이터셋에서 새로운 최고 수준의 단일 모델 성능인 68.2%를 달성하였다.
• VQAv2 벤치마크에서 정확도가 67.4%로 향상되어 이전 방법에 비해 뚜렷한 성능 향상을 보였다.
• 상호 주의 메커니즘이 질문과 관련된 전반적인 시각적 세부 정보와 세밀한 시각적 특징을 효과적으로 포착하였다.
• 텐서 분해 기반 융합 기법은 다중 모달 특징의 효율적이고 효과적인 통합을 가능하게 하였다.