[논문 리뷰] Deep Compositional Question Answering with Neural Module Networks

Jacob Andreas, Marcus Rohrbach외 2명|arXiv (Cornell University)|2015. 11. 09.

Multimodal Machine Learning Applications참고 문헌 41인용 수 148

한 줄 요약

이 논문은 시각적 질의 이해를 향상시키기 위해 딥러닝과 조합적 언어적 구조를 융합한 신경 모듈 네트워크(Neural Module Networks, NMNs)를 제안한다. 질문을 하위 구조로 분해하고, 객체 검출 및 색상 분류와 같은 재사용 가능한 신경 모듈을 동적으로 조합함으로써, VQA 및 새로운 복잡한 형태 기반 VQA 데이터셋에서 최신 기술 수준의 성능을 달성하기 위해 모듈러 네트워크를 공동으로 훈련시킨다.

ABSTRACT

Visual question answering is fundamentally compositional in nature---a question like where is the dog? shares substructure with questions like what color is the dog? and where is the cat? This paper seeks to simultaneously exploit the representational capacity of deep networks and the compositional linguistic structure of questions. We describe a procedure for constructing and learning *neural module networks*, which compose collections of jointly-trained neural modules into deep networks for question answering. Our approach decomposes questions into their linguistic substructures, and uses these structures to dynamically instantiate modular networks (with reusable components for recognizing dogs, classifying colors, etc.). The resulting compound networks are jointly trained. We evaluate our approach on two challenging datasets for visual question answering, achieving state-of-the-art results on both the VQA natural image dataset and a new dataset of complex questions about abstract shapes.

연구 동기 및 목표

• 질의의 조합적 성격을 명시적으로 언어 하위 구조를 모델링하여 다루기 위해.
• 딥 네트워크의 표현 능력과 구조적 조합성을 융합하여 시각적 질의 이해를 향상시키기 위해.
• 다양한 질문 유형 간에 구성 요소를 재사용할 수 있는 학습 가능한 모듈러 아키텍처 개발을 위해.
• 질의의 동적 네트워크 조합을 통해 복잡한 VQA 벤치마크에서 뛰어난 성능을 달성하기 위해.

제안 방법

• 언어 분석을 통해 자연어 질문을 조합적 하위 구조로 분해하기 위해.
• 핵심 시각적 및 언어적 연산(예: 객체 검출, 색상 분류)을 위한 재사용 가능한 신경 모듈 정의하기 위해.
• 질의의 구조에 기반해 모듈을 동적으로 조합하여 태스크에 특화된 깊은 네트워크 구성하기 위해.
• 여러 질문들 간의 공동 최적화를 통해 전체 모듈러 네트워크를 엔드 투 엔드로 훈련시키기 위해.
• 학습 중 기울기 전파를 가능하게 하기 위해 미분 가능한 모듈을 사용하여 파라미터 공유 및 공동 학습 가능하게 하기 위해.
• 프레임워크를 자연 이미지 VQA와 복잡한 추론이 요구되는 추상적 형태 질문의 새로운 데이터셋에 적용하기 위해.

실험 결과

연구 질문

• RQ1 모듈러 신경 네트워크 아키텍처가 시각적 질의의 조합적 구조를 효과적으로 모델링할 수 있는가?
• RQ2 재사용 가능한 모듈의 동적 조합이 다양한 질문 유형 간 일반화 능력을 향상시키는가?
• RQ3 이러한 시스템이 복잡한 VQA 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 모듈의 공동 훈련이 단일 구조 네트워크보다 더 나은 추론 능력을 제공하는가?

주요 결과

• 제안된 신경 모듈 네트워크는 VQA 자연 이미지 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 모델은 추상적 형태에 대한 복잡한 질문을 포함한 새로운 도전적인 데이터셋에서도 강력한 일반화 능력을 보여준다.
• 모듈러 구성 요소의 공동 훈련이 기준 모델 대비 향상된 추론 능력을 유도한다.
• 동적 조합 메커니즘이 다양한 질문들 간에 시각적 및 언어적 모듈의 효과적인 재사용을 가능하게 한다.