[논문 리뷰] ABC-CNN: An Attention Based Convolutional Neural Network for Visual Question Answering

Kan Chen, Jiang Wang외 4명|arXiv (Cornell University)|2015. 11. 18.

Multimodal Machine Learning Applications참고 문헌 30인용 수 278

한 줄 요약

이 논문은 질문에 기반한 주의를 통해 관련 이미지 영역에 동적으로 집중할 수 있도록 하는 주의 기반 컨볼루션 신경망인 ABC-CNN을 제안한다. 질문 임bedding에서 파생된 설정 가능한 컨볼루션 커널을 활용함으로써 ABC-CNN은 특성 표현을 향상시키는 공간 주의 맵을 생성하며, Toronto COCO-QA, DAQUAR, VQA 데이터셋에서 최신 기술 수준의 성능을 달성하여 뚜렷한 정확도 향상을 이룬다.

ABSTRACT

We propose a novel attention based deep learning architecture for visual question answering task (VQA). Given an image and an image related natural language question, VQA generates the natural language answer for the question. Generating the correct answers requires the model's attention to focus on the regions corresponding to the question, because different questions inquire about the attributes of different image regions. We introduce an attention based configurable convolutional neural network (ABC-CNN) to learn such question-guided attention. ABC-CNN determines an attention map for an image-question pair by convolving the image feature map with configurable convolutional kernels derived from the question's semantics. We evaluate the ABC-CNN architecture on three benchmark VQA datasets: Toronto COCO-QA, DAQUAR, and VQA dataset. ABC-CNN model achieves significant improvements over state-of-the-art methods on these datasets. The question-guided attention generated by ABC-CNN is also shown to reflect the regions that are highly relevant to the questions.

연구 동기 및 목표

• 특정 질문에 관련된 이미지 영역에 모델이 집중할 수 있도록 하여 시각적 이해와 언어적 이해를 정렬하는 데 도전하는 것.
• 수동으로 주석 처리된 주의 영역이 필요 없이 질문 기반 주의를 학습하는 메커니즘을 개발하는 것.
• 적응형 주의 기반 특성 가중치를 통합하여 시각적 특징과 질문 의미를 결합함으로써 VQA 정확도를 향상시키는 것.
• 질문의 의도와 일치하는 주의 맵을 생성함으로써 VQA 모델의 해석 가능성을 제공하는 것.

제안 방법

• ABC-CNN는 공간적 시각적 특징 맵을 추출하기 위해 CNN을 사용하며, 이미지 영역 간의 공간적 관계를 유지한다.
• 장기 단기 기억(LSTM) 네트워크는 입력 질문을 조밀한 의미 임베딩으로 인코딩한다.
• 질문 임베딩을 시각적 공간으로 투영하여 설정 가능한 컨볼루션 커널(CCK)을 생성하며, 이는 질의에 특화된 특징 탐색을 가능하게 한다.
• CCK는 시각적 특징 맵 위에서 설정 가능한 컨볼루션을 수행하여 질문 기반 주의 맵(QAM)을 생성하며, 관련된 이미지 영역을 강조한다.
• QAM은 시각적 특징을 공간적으로 가중하여 노이즈를 걸러내고 답변 생성을 위한 맥락적으로 관련된 영역을 강조한다.
• 최종 답변은 주의가 가해진 시각적 특징과 질문 임베딩을 사용한 다중 클래스 분류기로 생성되며, 인간이 주석 처리한 주의 정보 없이 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 주어진 질문과 의미적으로 관련된 이미지 영역을 자동으로 주의 집중할 수 있는가?
• RQ2 전역 특징 풀링이나 고정된 주의 메커니즘과 비교할 때 질문 기반 주의가 VQA 정확도를 어떻게 향상시키는가?
• RQ3 생성된 주의 맵이 주어진 질문에 대해 인간이 주석 처리하거나 직관적으로 관심을 가진 영역과 어느 정도 일치하는가?
• RQ4 설정 가능한 컨볼루션 메커니즘이 질문의 의미를 효과적으로 시각적 특징의 공간 주의로 전이할 수 있는가?

주요 결과

• Toronto COCO-QA 데이터셋에서 ABC-CNN은 테스트 정확도 0.6844를 기록하여 모든 베이스라인 모델을 능가하고 앙상블 모델보다 0.3% 높은 성능을 보였다.
• DAQUAR-reduced 데이터셋에서 ABC-CNN은 정확도 0.4276를 기록하여 다음으로 우수한 단일 모델(LSTM, 0.3273)을 크게 앞섰다.
• VQA 데이터셋에서 ABC-CNN은 1000개의 빈도가 높은 답변을 사용하여 정확도 0.4838을 달성했으며, 이는 이전 최신 기술 수준의 단일 모델보다 0.1259 높은 성능이었다.
• 제거 실험 결과 주의 기능을 제거하면 정확도가 1.34% 감소하여 질문 기반 주의의 중요성을 확인했다.
• 시각화 결과 주의 맵이 질문의 의도와 일치하는 영역(예: 다른 예시에서 코트 또는 우산)을 일관되게 집중하는 것으로 확인되었다.
• 완전 컨볼루션 버전(ATT-SEG)은 추론 속도를 향상시키며 약간의 성능 향상을 보였으며, 결합된 ATT-VGG-SEG 모델이 가장 우수한 전체 성능을 기록했다.