[논문 리뷰] Survey of Visual Question Answering: Datasets and Techniques

Akshay Gupta|arXiv (Cornell University)|2017. 05. 10.

Multimodal Machine Learning Applications참고 문헌 29인용 수 22

한 줄 요약

이 종합 검토는 시각질문응답(VQA) 데이터셋과 모델에 대한 포괄적인 개요를 제공하며, 접근 방식을 비딥러닝, 주의 기반 없이 딥러닝, 주의 기반 딥러닝, 하이브리드 모델로 분류한다. 주의 메커니즘과 지식 통합이 성능 향상에 크게 기여하며, 특히 추론 중심 및 지식 의존적인 작업에서 Hierarchical Co-Attention와 Ask Me Anything(AMA)와 같은 모델이 최신 기술 수준의 성능을 달성하고 있음을 밝힌다.

ABSTRACT

Visual question answering (or VQA) is a new and exciting problem that combines natural language processing and computer vision techniques. We present a survey of the various datasets and models that have been used to tackle this task. The first part of the survey details the various datasets for VQA and compares them along some common factors. The second part of this survey details the different approaches for VQA, classified into four types: non-deep learning models, deep learning models without attention, deep learning models with attention, and other models which do not fit into the first three. Finally, we compare the performances of these approaches and provide some directions for future work.

연구 동기 및 목표

• 스케일, 태깅 방법, 질문-답변 다양성 측면에서 주요 VQA 데이터셋을 체계적으로 검토하고 비교하기.
• 비딥러닝, 주의 기반 없이 딥러닝, 주의 기반 딥러닝, 하이브리드 모델로 나누어 VQA 모델을 분류하고 분석하기.
• 표준 VQA 벤치마크에서 다양한 모델 아키텍처의 성능을 평가하고 정확도 향상에 기여하는 핵심 요인을 규명하기.
• 외부 지식 기반 시스템이 세계 지식이 필요한 질문에 대해 VQA 성능을 어떻게 향상시키는지 탐색하기.
• 답변 생성, 추론 복잡도, 성능 상한선 등 주요 열린 과제와 향후 연구 방향 규명하기.

제안 방법

• 이미지 소스, 태깅 방법(인간 vs. 자동), 질문 유형, 답변 형식 기반으로 VQA 데이터셋을 분류한다.
• 비딥러닝, 주의 기반 없이 딥러닝, 주의 기반 딥러닝(예: 주의 메커니즘 포함), 외부 지식을 통합한 하이브리드 모델로 VQA 모델을 4종류로 분류한다.
• VQA, COCO-QA, DAQUAR 등의 데이터셋에서 정확도, WUPS 점수, 상위 1위/상위 5위 정확도 등 표준 메트릭을 사용해 모델 성능을 평가한다.
• 이미지 및 질문 특징에 동시에 주의를 기울이는 Hierarchical Co-Attention와 같은 주의 메커니즘을 분석하여 복잡한 질문에서 성능 향상을 확인한다.
• DBpedia 등 외부 지식 기반 시스템을 속성 기반 쿼리와 Doc2Vec를 이용한 문서 요약을 통해 AMA 모델에 통합하여 답변 생성 성능 향상에 기여한다.
• 주의 기반과 지식 기반 시스템 접근을 조합한 하이브리드 모델링 전략을 제안하며, 외부 지식 사용 시점을 결정하는 엔드 투 엔드 미분 가능한 의사결정 가능성 탐색.

실험 결과

연구 질문

• RQ1 스케일, 태깅 방법, 질문-답변 다양성 측면에서 다양한 VQA 데이터셋은 어떻게 비교되는가?
• RQ2 비딥러닝, 주의 기반 없이 딥러닝, 주의 기반 딥러닝 모델이 표준 VQA 벤치마크에서 상대적으로 어떤 성능을 보이는가?
• RQ3 외부 지식 기반 시스템을 통합할 경우, 세계 지식이 필요한 질문에서 VQA 성능 향상 정도는 어느 정도인가?
• RQ4 특히 이미지와 질문 간 공통 주의(co-attention) 메커니즘이 복잡하거나 장문의 질문에서 모델 성능을 어떻게 향상시키는가?
• RQ5 답변 생성, 추론 복잡도, 성능 상한선 등 VQA 분야에서 주요한 열린 과제는 무엇인가?

주요 결과

• 주의 메커니즘을 포함한 딥러닝 모델, 특히 Hierarchical Co-Attention Networks(CoAtt)는 주의 기반 없이 딥러닝한 모델보다 뛰어난 성능을 보이며, 추론 중심 작업에서 최신 기술 수준의 성능을 달성한다.
• DBpedia 지식 기반 시스템을 속성 기반 쿼리와 Doc2Vec 요약을 통해 통합한 Ask Me Anything(AMA) 모델은 COCO-QA에서 최고의 성능을 기록하여, 외부 지식이 세계 지식이 필요한 답변 생성에 기여함을 시사한다.
• 답변 유형을 생성하기 이전에 예측하는 ATP 모델은 주의 기반 없이 딥러닝한 모델보다 뛰어난 성능을 보이며, 명시적인 주의 기반 없이도 구조화된 추론이 성능 향상에 기여함을 보여준다.
• Neural Module Networks(NMN)와 같은 모델은 합성된 추론 중심 데이터셋에서 뛰어난 성능을 보이며, 자동 프로그램 조합이 복잡한 VQA에 대해 유망한 길임을 시사한다.
• 자동 생성된 COCO-QA에서 VQA 성능이 상대적으로 낮게 나타나 자동 데이터 생성이 추론 깊이를 제한하고 더 나은 평가 벤치마크가 필요함을 시사한다.
• 개방형 답변 생성에 대한 효과적인 평가 방법론이 아직 부족하여, 이 분야에서 개선된 메트릭과 데이터셋 셋업이 절실한 상황이다.