[논문 리뷰] High-Order Attention Models for Visual Question Answering

Idan Schwartz, Alexander G. Schwing외 1명|arXiv (Cornell University)|2017. 11. 12.

Multimodal Machine Learning Applications참고 문헌 21인용 수 45

한 줄 요약

이 논문은 시각적·언어적 입력 간의 복잡한 다중 모odal 상관관계를 모델링하는 새로운 고차원 주의 메커니즘을 제안한다. 이미지 영역과 질문 단어 간의 이차 및 고차원 상호작용을 학습함으로써, 상대적으로 작은 모델(40M 파라미터)로도 표준 VQA 데이터셋에서 최신 기술 수준의 성능을 달성한다. 기존의 주의 기반 모델에 비해 낮은 임bedding 차원과 단순한 아키텍처를 사용하고도 성능을 뛰어넘었다.

ABSTRACT

The quest for algorithms that enable cognitive abilities is an important part of machine learning. A common trait in many recently investigated cognitive-like tasks is that they take into account different data modalities, such as visual and textual input. In this paper we propose a novel and generally applicable form of attention mechanism that learns high-order correlations between various data modalities. We show that high-order correlations effectively direct the appropriate attention to the relevant elements in the different data modalities that are required to solve the joint task. We demonstrate the effectiveness of our high-order attention mechanism on the task of visual question answering (VQA), where we achieve state-of-the-art performance on the standard VQA dataset.

연구 동기 및 목표

• 기존 주의 메커니즘이 다중 모달 학습에서 모달을 별도로 다루거나 수작업 설계된 방식을 사용하는 데서 비롯하는 한계를 해결하기 위해.
• 이미지 및 텍스트와 같은 다양한 데이터 모달 간의 고차원 상관관계를 명시적으로 모델링하는 일반 목적의 주의 메커니즘을 개발하기 위해.
• 이중 주의 메커니즘을 통해 관련 이미지 영역과 질문 단어를 동시에 고려함으로써, 고차원 상호작용을 통한 시각적 질문 응답의 성능 향상과 해석 가능성 향상을 위해.
• 제안된 메커니즘이 표준 벤치마크에서 효과를 입증하여 경량 모델로 최신 기술 수준의 성능을 달성함을 보여주기 위해.

제안 방법

• 이 방법은 고차원 잠재변수 기반의 확률적 주의 프레임워크를 도입하며, 단일 모달 주의(예: 이미지 또는 질문)를 나타내는 단일 잠재변수와 이차 또는 고차원 잠재변수를 통해 모달 간의 상호작용을 모델링한다.
• 일반화된 다중 모달 단순 빌린(Compact Bilinear, MCB) 레이어의 변형을 기반으로 한 다중 모달 융합 레이어를 사용하며, 이는 세 모달(이미지, 질문, 다중 선택 답변)로 확장되어 MCT(Multimodal Compact Tensor)로 명명된다.
• 주의 메커니즘은 조건부 랜덤 필드(CRF)-유사한 공식을 사용하여 단일 및 이차 잠재변수를 조합함으로써 주의 가중치의 구조적 예측을 가능하게 한다.
• 모델은 VQA 데이터셋에서 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련되며, 사전 학습된 네트워크(예: 이미지의 경우 VGG, 질문의 경우 LSTM)로부터 특징을 추출한다.
• 이 프레임워크는 임의의 수의 모달에 확장 가능하도록 설계되어 있으며, 이원 상호작용을 초월한 복잡한 의존성의 탄력적 모델링을 가능하게 한다.
• 최종 주의 맵은 훈련 중에 학습되는 가중치를 통해 단일 및 이차 잠재변수의 가중 조합으로 계산된다.

실험 결과

연구 질문

• RQ1 시각적 및 언어적 모달 간의 고차원 상관관계가 시각적 질문 응답 성능 향상에 기여할 수 있는가?
• RQ2 이미지, 질문, 답변의 세 모달 간의 상호작용을 모델링할 경우 주의 품질과 정확도에 어떤 영향을 미치는가?
• RQ3 고차원 잠재변수 기반의 단순하고 일반적인 주의 메커니즘이 복잡한 작업 특화 주의 모듈을 능가할 수 있는가?
• RQ4 제안된 방법이 의미적으로 관련된 이미지 영역과 질문 단어와의 일치를 통해 해석 가능성 향상에 기여하는가?

주요 결과

• 제안된 고차원 주의 메커니즘은 VQA 검증 세트에서 2층 MCB 융합을 사용한 3모달 기반으로 64.57%의 정확도를 기록하며, 테스트-dev 및 테스트-std 데이터셋에서 최신 기술 수준의 성능을 달성했다.
• 4000만 개의 파라미터와 512의 낮은 임베딩 차원을 사용함에도 불구하고, 7000만 개 이상의 파라미터와 더 높은 차원의 특징을 사용하는 기존 방법들을 능가했다.
• 3모달 모델는 2모달 기반 모델에 비해 뚜렷한 성능 향상을 보이며, 고차원 상호작용을 모델링하는 것이 중요함을 입증했다.
• 정성적 분석 결과, 이차 잠재변수들이 질문의 내용에 따라 관련된 시각적 영역과 효과적으로 일치하는 것으로 나타났다. 예를 들어, 수량에 대해 질문했을 경우 안경에 주의를 기울이고, 옷 색상에 대해 질문했을 경우 파란 셔츠를 입은 사람에게 집중하는 등.
• 모델는 관련된 이미지 영역과 질문 단어에 주의를 집중하여 정답 정확도를 향상시켰다. 예를 들어, 배터리로 작동하는 장치에 대해 질문했을 경우 노트북에 주의를 기울였다.
• 모델가 주로 주목하는 시각적 특징이 질문된 대상과 관련 없이 눈에 띄는 물체(예: 색다른 우산)일 경우 오류 사례가 관찰되었으며, 이는 모호하거나 혼란스러운 시각적 특징을 다루는 데서 한계를 드러냈다.