[논문 리뷰] Attention on Attention: Architectures for Visual Question Answering (VQA)

Jasdeep Singh, Vincent Ying외 1명|arXiv (Cornell University)|2018. 03. 21.

Multimodal Machine Learning Applications참고 문헌 5인용 수 21

한 줄 요약

이 논문은 시각질문응답(VQA) 성능을 햖스하기 위해 두 개의 병렬 A3 주의 모듈을 스택한 새로운 주의 메커니즘인 A3x2를 제안한다. 질문에 의해 유도되고 다중 측면에 초점을 맞춘 주의를 통해 이미지 특징을 정교화함으로써, 모델은 300 GPU 시간의 초모수 및 아키텍처 검색 후 VQA v2.0 데이터셋에서 기존의 단일 모델 최고 성능인 63.15%를 뛰어넘는 64.78%의 검증 점수를 달 đạt하였다.

ABSTRACT

Visual Question Answering (VQA) is an increasingly popular topic in deep learning research, requiring coordination of natural language processing and computer vision modules into a single architecture. We build upon the model which placed first in the VQA Challenge by developing thirteen new attention mechanisms and introducing a simplified classifier. We performed 300 GPU hours of extensive hyperparameter and architecture searches and were able to achieve an evaluation score of 64.78%, outperforming the existing state-of-the-art single model's validation score of 63.15%.

연구 동기 및 목표

• 표준 단일 통과 주의를 넘어서 주의 메커니즘의 성능을 향상시켜 시각질문응답(VQA) 성능을 향상시키기 위해.
• 다중 병렬 주의 모듈이 공동 이미지-질문 표현 학습에 미치는 영향을 조사하기 위해.
• 주로 주의 설계와 분류기 단순화에 중점을 두고 초모수 및 아키텍처 최적화를 위한 광범위한 검색을 수행하기 위해.
• 2017년 VQA 챌린지 수상 모델의 단일 모델 성능인 검증 세트에서 63.15%를 넘어서기 위해.

제안 방법

• 모델은 입력 질문을 1280차원 임bedding으로 인코딩하기 위해 사전 훈련된 GloVe 임베딩과 GRU를 사용한다.
• 이미지 특징은 고정된 Faster R-CNN을 통해 추출되며, 각 이미지당 36개의 객체 중심 특징을 생성한다.
• 이중 단방향 상향식 주의 모듈(A3x2)은 학습된 주의 가중치를 사용하여 질문 임베딩과 각 이미지 영역 간의 관련성 점수를 계산한다.
• A3x2 메커니즘은 두 개의 A3 주의 모듈을 병렬로 스택하여 모델이 동시에 여러 이미지 영역에 초점을 맞출 수 있도록 한다.
• 공통 이미지-질문 임베딩에 단순화된 분류기를 적용하여 최종 답변을 예측한다.
• 가중치 정규화, 활성화 함수(예: leaky ReLU) 및 기타 아키텍처 구성 요소에 대한 탐욕적이고 순차적인 검색을 통해 광범위한 초모수 조정을 수행한다.

실험 결과

연구 질문

• RQ1 다중 주의 메커니즘을 스택함으로써 이미지 영역에 대한 다중 측면 초점 기능을 가능하게 하여 VQA 성능을 향상시킬 수 있는가?
• RQ2 주의 메커니즘의 설계가 질문과 관련된 시각적 특징을 정렬하는 데 모델의 능력에 어떤 영향을 미치는가?
• RQ3 가중치 정규화 및 활성화 함수와 같은 아키텍처 구성 요소가 VQA 정확도에 어떤 영향을 미치는가?
• RQ4 간단화된 분류기가 VQA 환경에서 더 복잡한 출력 헤드보다 성능이 뛰어날 수 있는가?

주요 결과

• A3x2 주의 메커니즘이 평가된 13개의 주의 모듈 중에서 가장 높은 성능을 기록하였으며, 단일 주의 및 기타 스택된 변종보다 뛰어났다.
• 최종 모델은 검증 점수 64.78%를 달성하여, 2017년 Teney 등에 의해 보고된 기존의 단일 모델 최고 성능인 63.15%를 초월하였다.
• 이중 주의 메커니즘은 복잡한 질문에서 여러 이미지 영역에 주의를 기울여야 할 경우에 특징 국소화 능력이 향상되었음을 히트맵 시각화를 통해 입증하였다.
• 많은 에포크 동안 훈련 세트에서 과적합이 발생했음에도 불구하고, 모델은 강력한 일반화 능력을 유지하였으며, 이는 초모수 조정이 검증 세트에 대한 과적합을 완화시켰음을 시사한다.
• 가중치 정규화와 leaky ReLU 활성화 함수가 모델 성능에 최적임을 발견하였으며, 표준 ReLU 및 정규화 없이 사용했을 경우보다 정확도가 향상되었다.