[논문 리뷰] FVQA: Fact-based Visual Question Answering

Peng Wang, Qi Wu외 3명|arXiv (Cornell University)|2016. 06. 17.

Multimodal Machine Learning Applications참고 문헌 74인용 수 36

한 줄 요약

이 논문은 외부 지식 기반에서 추출한 지식 삼중항(예: <고양이, 할 수 있는 일, 나무 기어오르기>)을 포함하여 시각적 인식을 초월한 추론을 가능하게 하는 사실 기반 시각질의질의응답(FVQA) 데이터셋을 소개한다. 제안된 방법은 LSTMs를 활용해 질문-지식기반쿼리 매핑을 학습하며, 수백만 개의 사실 중에서 41.12%의 top-1 정확도를 달성하여 VQA에서 명시적이고 해석 가능한 추론을 가능하게 한다.

ABSTRACT

Visual Question Answering (VQA) has attracted a lot of attention in both Computer Vision and Natural Language Processing communities, not least because it offers insight into the relationships between two important sources of information. Current datasets, and the models built upon them, have focused on questions which are answerable by direct analysis of the question and image alone. The set of such questions that require no external information to answer is interesting, but very limited. It excludes questions which require common sense, or basic factual knowledge to answer, for example. Here we introduce FVQA, a VQA dataset which requires, and supports, much deeper reasoning. FVQA only contains questions which require external information to answer. We thus extend a conventional visual question answering dataset, which contains image-question-answerg triplets, through additional image-question-answer-supporting fact tuples. The supporting fact is represented as a structural triplet, such as . We evaluate several baseline models on the FVQA dataset, and describe a novel model which is capable of reasoning about an image on the basis of supporting facts.

연구 동기 및 목표

• 기존 VQA 데이터셋이 이미지와 질문만으로 답할 수 있는 질문에 국한되어 있다는 한계를 해결하기 위해, 외부 사실 지식이 필요한 데이터셋을 도입한다.
• 각 질문-답변 쌍에 대해 구조화된 지식 기반을 지원 사실로 통합하여 VQA의 더 깊은 추론을 가능하게 한다.
• 다양한 답변 공간으로의 일반화를 가능하게 하기 위해, 질문을 직접 답변으로 매핑하는 대신 질문을 지식기반 쿼리로 매핑하는 확장 가능한 VQA 모델을 개발한다.
• 예측된 지원 사실을 통해 추론 체인을 노출시켜 VQA 모델의 해석 가능성을 높인다.

제안 방법

• DBpedia 및 ConceptNet과 같은 외부 지식 기반에서 추출한 구조화된 삼중항(예: <주어, 서술어, 목적어>) 형태의 지원 사실 트리플을 포함하여 기존의 VQA 데이터셋을 확장한다.
• WebChild, DBpedia, ConceptNet 등의 여러 소스에서 온 사실들을 정규화하고 정렬하여 통합 지식 기반을 구축한다.
• 장기적 단기 기억(LSTM) 네트워크 기반의 질문-쿼리 매핑 모듈을 사용하여 자연어 질문을 공식적인 지식기반 쿼리로 변환한다.
• 생성된 쿼리를 사용해 통합 지식 기반을 쿼리하여 관련 사실을 검색하고, 이를 기반으로 답변을 추론한다.
• 다수의 검색 결과에서 가장 관련성이 높은 사실을 순위 매기고 선택하기 위한 후처리 단계를 적용하여 답변 정확도를 향상시킨다.
• 질문 인코딩 → 지식기반 쿼리 생성 → 사실 검색 → 답변 생성의 다단계 파이프라인을 활용하며, 지원 사실을 통한 명시적 추론 흐름을 제공한다.

실험 결과

연구 질문

• RQ1 시각적 인식을 초월한 외부 사실 지식이 필요한 질문을 해결할 수 있는 VQA 시스템을 설계할 수 있는가?
• RQ2 대규모 지식 기반에서 자연어 질문을 구조화된 쿼리로 매핑하는 모델은 어떻게 학습할 수 있는가?
• RQ3 지원 사실을 사용할 경우 VQA 시스템의 해석 가능성과 정확도에 어떤 영향을 미치는가?
• RQ4 오픈-ended VQA에서 질문-지식기반 쿼리 매핑 성능은 직접 질문-답변 학습과 비교해 어떻게 되는가?
• RQ5 사실 기반 VQA에서 주요 실패 유형은 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 제안된 'top-3-QQmapping' 모델은 지식 기반 내 수백만 개의 사실 중에서 정확한 지원 사실을 41.12%의 top-1 정확도로 예측한다. 또한 top-3 정확도는 45.49%이다.
• 정답 질문-쿼리 매핑을 사용할 경우 지원 사실 예측 정확도가 크게 향상되며(정상적으로 56.31%의 top-1 정확도), 이는 질문 이해가 핵심적 블랙스팟임을 시사한다.
• 이미지에 존재하는 시각적 개념에 기반한 답변의 정확도는 지식기반 사실에만 의존하는 경우보다 약 5배 높다.
• 객체 관련 질문은 장면 또는 동작 관련 질문보다 더 높은 정확도로 답변되며, 이는 VggNet과 같은 사전 학습된 객체 검출기에서 더 우수한 특징 표현이 가능하기 때문이다.
• 실패 사례의 주요 원인은 잘못된 시각적 개념 탐지, 부정확한 질문-쿼리 매핑, 또는 최적화되지 않은 사실 순위 매기기 후처리 단계에 기인한다.
• 기존의 대부분의 VQA 모델이 블랙박스 답변을 생성하는 데 반해, 이 모델은 명시적인 추론을 위해 설명 가능한 지원 사실을 생성함으로써 투명한 추론을 가능하게 한다.