[논문 리뷰] Dual Recurrent Attention Units for Visual Question Answering

Ahmed Osman, Wojciech Samek|arXiv (Cornell University)|2018. 02. 01.

Multimodal Machine Learning Applications참고 문헌 37인용 수 6

한 줄 요약

이 논문은 복합적이고 관계적인 질문에 대해 더 나은 주의력 추론을 위해 시각적 및 텍스처적 모odal에서 모두 순환 주의 단위(Recurrence Attention Units, RAUs)를 사용하는 새로운 VQA 아키텍처인 이중 순환 주의 단위(Dual Recurrent Attention Units, DRAU)를 제안한다. 기존의 컨볼루션 주의 기법을 순환 메커니즘으로 대체함으로써, DRAU는 VQA 1.0에서 최상의 성능을 기록하고, 2016년 및 2017년 챌린지 우승자를 초월하여 더 뛰어난 주의력 품질과 복잡한 질문에 대한 추론 능력을 입증한다.

ABSTRACT

Visual Question Answering (VQA) requires AI models to comprehend data in two domains, vision and text. Current state-of-the-art models use learned attention mechanisms to extract relevant information from the input domains to answer a certain question. Thus, robust attention mechanisms are essential for powerful VQA models. In this paper, we propose a recurrent attention mechanism and show its benefits compared to the traditional convolutional approach. We perform two ablation studies to evaluate recurrent attention. First, we introduce a baseline VQA model with visual attention and test the performance difference between convolutional and recurrent attention on the VQA 2.0 dataset. Secondly, we design an architecture for VQA which utilizes dual (textual and visual) Recurrent Attention Units (RAUs). Using this model, we show the effect of all possible combinations of recurrent and convolutional dual attention. Our single model outperforms the first place winner on the VQA 2016 challenge and to the best of our knowledge, it is the second best performing single model on the VQA 1.0 dataset. Furthermore, our model noticeably improves upon the winner of the VQA 2017 challenge. Moreover, we experiment replacing attention mechanisms in state-of-the-art models with our RAUs and show increased performance.

연구 동기 및 목표

• 시퀀셜하고 관계적인 추론을 포착하지 못하는 얕은 컨볼루션 주의 기법의 한계를 해결한다.
• 인간의 인지적 주의 과정을 영감으로 삼아 순차적이고 순환적인 방식으로 주의를 모델링하여 다중모odal 이해 능력을 향상시킨다.
• 통제된 아블레이션 연구를 통해 순환 주의 기법이 표준 컨볼루션 주의 기법보다 VQA에서 뛰어나다는 것을 입증한다.
• 기존 최상위 모델을 향상시킬 수 있는 모듈러하고 플러그-인 방식의 주의 기법(RAU)을 개발한다.
• 이중 순환 주의 단위(DRAU)가 다단계의 시각적 및 텍스처적 주의가 필요한 복잡한 질문에 대해 더 나은 추론을 가능하게 한다.

제안 방법

• 순차적 특징에 대해 게이팅된 순환 단위(GRUs)가 주의 가중치를 생성하는 순환 텍스처 주의 단위(RTAU)와 순환 시각 주의 단위(RVAU)를 제안한다.
• 시각적 및 텍스처적 특징을 함께 주의적으로 분석하기 위해 순환 처리를 활용하는 이중 주의 기반 메커니즘을 통합하여 추론 능력을 향상시킨다.
• 기존의 컨볼루션 주의 기법을 RAU로 대체하는 단일화된 VQA 프레임워크 내에서 간단하지만 효과적인 DRAU 네트워크 아키텍처를 설계한다.
• 성능 향상 요인을 분리하기 위해 주의 기법(컨볼루션 대비 순환)을 제외한 동일한 아키텍처를 가진 통제된 베이스라인 모델을 사용한다.
• 최신 기술 모델(MCB, MUTAN, MFH)에 RAU를 플러그인 모듈로 적용하여 일반화 능력과 성능 향상 여부를 평가한다.
• 교차 엔트로피 손실과 Adam 최적화를 사용하여 VQA 1.0 및 VQA 2.0 데이터셋에서 모델을 엔드 투 엔드로 훈련시키며, 시각적 특징은 ResNet-152에서, 텍스트 임베딩은 GloVe를 사용한다.

실험 결과

연구 질문

• RQ1 순환 주의 기법이 VQA 작업에서 전통적인 컨볼루션 주의 기법보다 뛰어나게 작용할 수 있는가?
• RQ2 이중 순환 주의(DRAU)는 추론 능력과 정확도 측면에서 하이브리드 또는 단일 모odal 주의 기법보다 어떻게 비교되는가?
• RQ3 RAU를 기존 최상위 VQA 모델에 통합했을 때 성능 향상 정도는 어느 정도인가?
• RQ4 복잡하고 관계적인 추론 질문에서 RAU의 주의 맵 품질은 표준 주의 기법과 비교해 어떻게 되는가?
• RQ5 순환 구조가 다단계 추론이나 객체 수를 세는 질문을 요구하는 경우 더 나은 일반화 능력을 제공하는가?

주요 결과

• DRAU 모델은 VQA 1.0 데이터셋에서 테스트 정확도 75.4%를 기록하여 단일 모델 기준 두 번째로 높은 성능을 기록했으며, 최상의 성능을 기록한 모델에 이르기까지 매우 가까운 성능을 보였다.
• VQA 2.0 데이터셋에서는 VQA 2016 챌린지 우승자인 첫 번째 모델을 능가하고, VQA 2017 챌린지 우승자보다도 단일 모델 설정에서 더 높은 성능을 기록했다.
• 통제된 아블레이션에서 순환 주의 기법은 기준 모델에서 컨볼루션 주의 기법보다 정확도가 4%p 높게 나타나 순환 메커니즘이 우월함을 입증했다.
• 아블레이션 연구 결과, RTAU와 RVAU를 모두 사용할 경우 가장 높은 성능가를 기록하여 이중 순환 주의 기법이 컨볼루션 또는 순환 기법의 어떤 조합보다도 유리함을 확인했다.
• MCB, MUTAN, MFH 모델에 RAU를 통합했을 때 모두 일관되게 성능 향상이 관찰되어 RAU의 모듈성과 일반화 능력을 확인했다.
• 정성적 분석 결과, DRAU는 특히 관계적 또는 다단계 추론이 필요한 질문, 예를 들어 특정 객체를 세는 것이나 공간적 관계를 파악하는 질문에서 더 일관되고 맥락적으로 관련된 주의 맵을 생성하는 것으로 나타났다.