[논문 리뷰] From Two Graphs to N Questions: A VQA Dataset for Compositional Reasoning on Vision and Commonsense.

Difei Gao, Ruiping Wang외 2명|arXiv (Cornell University)|2019. 08. 08.

Multimodal Machine Learning Applications참고 문헌 42인용 수 6

한 줄 요약

이 논문은 시각적 장면 그래프와 외부 지식 그래프를 통합하여 복잡한 다단계 질문을 생성하는 조합적 추론을 위한 비디오 질의응답(VQA) 데이터셋인 CRIC를 소개한다. 이는 시각과 일반 지식을 함께 고려하는 새로운 모델을 제안하여 CRIC에서 58.38%의 정확도를 달성하며, 최신 기법들보다 6.12%포인트 높은 성능을 보였다.

ABSTRACT

Visual Question Answering (VQA) is a challenging task for evaluating the ability of comprehensive understanding of the world. Existing benchmarks usually focus on the reasoning abilities either only on the vision or mainly on the knowledge with relatively simple abilities on vision. However, the ability of answering a question that requires alternatively inferring on the image content and the commonsense knowledge is crucial for an advanced VQA system. In this paper, we introduce a VQA dataset that provides more challenging and general questions about Compositional Reasoning on vIsion and Commonsense, which is named as CRIC. To create this dataset, we develop a powerful method to automatically generate compositional questions and rich annotations from both the scene graph of a given image and some external knowledge graph. Moreover, this paper presents a new compositional model that is capable of implementing various types of reasoning functions on the image content and the knowledge graph. Further, we analyze several baselines, state-of-the-art and our model on CRIC dataset. The experimental results show that the proposed task is challenging, where state-of-the-art obtains 52.26% accuracy and our model obtains 58.38%.

연구 동기 및 목표

• 기존 VQA 벤치마크에서 시각적 콘텐츠와 외부 지식을 함께 고려한 추론가능성이 부족한 점을 보완하기 위해.
• 복잡한 질의 응답을 위해 이미지 콘텐츠와 일반 지식 간에 번갈아가며 추론이 요구되는 데이터셋을 개발하기 위해.
• 시각적 표현과 지식 표현 간의 다양한 추론 기능을 수행할 수 있는 통합 모델을 제안하기 위해.
• 조합적 추론의 어려움을 새로운 벤치마크와 기준 비교를 통해 평가하기 위해.

제안 방법

• 이미지에서 유도된 장면 그래프와 외부 지식 그래프를 조합하여 조합적 질문을 자동으로 생성하는 방법을 개발하였다.
• 시각 그래프와 지식 그래프 간의 구조적 및 의미적 정렬을 활용하여 다단계 추론이 필요한 질문을 생성하였다.
• 시각적 표현과 지식 표현을 함께 인코딩하고, 두 그래프에 대한 어텐션 메커니즘을 통해 추론을 수행하는 새로운 신경망 모델을 설계하였다.
• 모델은 그래프 구조를 동적으로 라우팅함으로써 비교, 추론, 인과 추론 등의 다양한 추론 기능을 지원한다.
• 그래프 기반 파이프라인에서 생성된 질문-답안 쌍에 대한 교차 엔트로피 손실을 사용하여 엔드 투 엔드 최적화를 수행하였다.
• 지식 그래프와 시각 그래프의 조합적 구조를 활용하여 새로운 질문 유형에 대해 제로샷 일반화가 가능하도록 프레임워크를 설계하였다.

실험 결과

연구 질문

• RQ1 어떻게 시각적 콘텐츠와 일반 지식을 모두 고려한 다양한 조합적 VQA 질문을 자동으로 생성할 수 있는가?
• RQ2 복잡한 VQA 작업에서 시각적 추론과 지식 기반 추론 간의 상대적 기여도는 어떠한가?
• RQ3 통합된 모델이 시각 그래프와 지식 그래프 간의 다양한 추론 유형을 효과적으로 수행할 수 있는가?
• RQ4 조합적 추론을 강조하는 벤치마크에서 제안된 모델은 최신 기법들과 비교해 어떻게 성능을 내는가?
• RQ5 CRIC 데이터셋은 현재 VQA 시스템의 한계를 어느 정도 드러내는가?

주요 결과

• 제안된 CRIC 데이터셋은 이미지 콘텐츠와 일반 지식 간에 번갈아가며 추론이 요구됨으로써 VQA의 복잡도 수준을 새롭게 정의한다.
• 최신 기법들이 CRIC에서 뿐만 아니라 52.26%의 정확도를 기록하며, 조합적 추론 능력 향상에 여전히 큰 여건이 있음을 시사한다.
• 제안된 모델은 58.38%의 정확도를 달성하여 새로운 벤치마크에서 기존 방법들보다 뚜렷한 성능 향상을 보였다.
• 모델이 인과적, 비교적, 추론적 추론과 같은 다양한 추론 유형을 처리할 수 있는 능력은 그 일반화 능력을 보여준다.
• 결과는 현재 VQA 시스템이 시각과 지식을 넘나드는 다단계 추론을 처리하는 데 어려움을 겪고 있음을 확인하며, 향후 보다 우수한 아키텍처 개발의 필요성을 강조한다.
• 자동 데이터 생성 파이프라인은 풍부한 애너테이션을 가진 고품질의 다양성 있는 질문을 성공적으로 생성하여 스케일러블한 벤치마크를 가능하게 하였다.