[논문 리뷰] Visual Question Answering: A Survey of Methods and Datasets

Qi Wu, Damien Teney외 4명|arXiv (Cornell University)|2016. 07. 20.

Multimodal Machine Learning Applications참고 문헌 101인용 수 44

한 줄 요약

이 종합 검토는 시각질문응답(VQA)에 대한 포괄적인 개요를 제공하며, 특히 컬러레이션 신경망과 순환 신경망을 활용해 이미지와 질문을 공유된 특징 공간에 매핑하는 딥러닝 기반의 최신 기법들을 검토한다. 주요 데이터셋을 평가하고, 구조화된 시나리오 애너테이션과 외부 지식 기반의 역할을 분석하며, 향후 연구 방향으로는 외부 지식 통합과 고도화된 자연어 처리(NLP) 기법을 활용한 VQA 내 추론 향상에 초점을 맞춘다.

ABSTRACT

Visual Question Answering (VQA) is a challenging task that has received increasing attention from both the computer vision and the natural language processing communities. Given an image and a question in natural language, it requires reasoning over visual elements of the image and general knowledge to infer the correct answer. In the first part of this survey, we examine the state of the art by comparing modern approaches to the problem. We classify methods by their mechanism to connect the visual and textual modalities. In particular, we examine the common approach of combining convolutional and recurrent neural networks to map images and questions to a common feature space. We also discuss memory-augmented and modular architectures that interface with structured knowledge bases. In the second part of this survey, we review the datasets available for training and evaluating VQA systems. The various datatsets contain questions at different levels of complexity, which require different capabilities and types of reasoning. We examine in depth the question/answer pairs from the Visual Genome project, and evaluate the relevance of the structured annotations of images with scene graphs for VQA. Finally, we discuss promising future directions for the field, in particular the connection to structured knowledge bases and the use of natural language processing models.

연구 동기 및 목표

• 시각적 및 텍스처적 모odal을 융합하는 데에 사용되는 현재 VQA 기법들과 그 기반 메커니즘을 체계적으로 검토하는 것.
• 자연 이미지, 클립아트, 지식 강화 데이터셋을 포함한 기존 VQA 데이터셋의 다양성과 복잡성을 분석하는 것.
• Visual Genome와 같은 구조화된 시나리오 애너테이션의 성능 향상에 기여하는 바를 평가하는 것.
• 시각적 콘텐츠를 초월해 외부 지식과 추론이 필요한 문제 해결의 필요성과 함께 VQA의 주요 과제를 규명하는 것.
• 외부 지식 기반의 스케일링 가능한 통합과 VQA 시스템 내에서 NLP 도구의 향상된 활용을 포함한 향후 연구 방향을 제안하는 것.

제안 방법

• CNN과 RNN을 활용해 이미지와 질문을 공유된 벡터 공간에 매핑하는 연합 임베딩 기법으로 VQA 기법을 분류하는 것.
• 질문의 내용에 따라 관련된 이미지 영역에 집중할 수 있도록 해주는 주의 메커니즘을 검토하는 것.
• 질문을 실행 가능한 하위 작업으로 분해하는 모듈러 아키텍처(예: 신경 모듈 네트워크, 동적 메모리 네트워크)를 분석하는 것.
• 외부 지식을 저장하고 검색하여 복잡한 질문에 답할 수 있도록 하는 메모리 증강 네트워크를 분석하는 것.
• 질문에 대한 사실적 또는 일반 지식을 초과하는 지식을 제공하기 위해 구조화된 지식 기반과 인터페이스를 맺는 모델을 조사하는 것.
• Visual Genome에서 유래한 시나리오 그래프 애너테이션의 VQA 성능 및 추론 능력에 미치는 영향을 분석하는 것.

실험 결과

연구 질문

• RQ1 연합 임베딩, 주의 메커니즘, 모듈러 아키텍처, 메모리 증강 네트워크 등 다양한 아키텍처는 시각적 및 텍스처적 입력에 대한 추론 능력에서 어떻게 비교되는가?
• RQ2 구조화된 시나리오 애너테이션과 지식 기반 강화는 VQA 성능과 추론 정확도 향상에 얼마나 기여하는가?
• RQ3 외부 지식이 필요한 복잡한 추론을 지원하기 위해 현재의 VQA 데이터셋은 어떤 한계를 지니는가?
• RQ4 사전 훈련된 언어 모델과 문법 분석과 같은 NLP 기법은 VQA 시스템에 어떻게 통합되어 질문 이해를 향상시킬 수 있는가?
• RQ5 확장 가능한 외부 지식 기반은 시각적 인식을 초월해 일반 지식 및 사실 기반 추론을 포함한 VQA의 발전에 어떤 역할을 할 수 있는가?

주요 결과

• CNN과 RNN을 활용한 연합 임베딩 기법은 여전히 VQA에서 지배적인 방법으로 자리 잡고 있으며, 시각적 및 텍스처적 표현을 공유된 공간에 효과적으로 정렬한다.
• 주의 메커니즘이 질문에 해당하는 관련 이미지 영역에 집중할 수 있도록 해주므로 성능 향상에 크게 기여한다.
• 모듈러 및 메모리 증강 아키텍처는 복합적이고 추론 중심의 질문을 다루는 데에 잠재력을 보이며, 아직 널리 채택되지는 않았다.
• 지식 기반 강화된 데이터셋은 규모가 제한되어 있지만, 외부 사실이 필요한 질문에 대한 추론 향상 잠재력을 보여준다.
• Visual Genome에서 유래한 구조화된 시나리오 애너테이션은 관계 및 속성 기반 질문에 대한 성능 향상에 유용한 인덕티브 바이어스를 제공한다.
• 향후 VQA의 발전은 외부 지식의 보다 우수한 통합과 사전 훈련된 언어 모델, 문법 분석과 같은 고도화된 NLP 기법의 활용을 통해 질문 이해 및 답변 생성 능력을 향상시키는 데에 달려 있을 것이다.