[논문 리뷰] Explicit Knowledge-based Reasoning for Visual Question Answering

Peng Wang, Qi Wu외 3명|arXiv (Cornell University)|2015. 11. 09.

Multimodal Machine Learning Applications참고 문헌 41인용 수 97

한 줄 요약

이 논문은 시각적 콘텐츠를 초월해 복잡하고 개방형 질문에 대해 대규모 지식기반(KB)을 통해 명시적인 추론을 수행하는 시각질의질문 응답 시스템인 Ahab을 제안한다. 시각적 개념 검출을 SPARQL를 통한 구조화된 지식기반 쿼리와 통합함으로써 Ahab는 정확한 답변과 검증 가능한 설명을 제공하며, 인간이 추론을 애너테이션한 새로운 KB-VQA 데이터셋에서 LSTM 기반 방법에 비해 뚜렷한 성능 향상을 보였다.

ABSTRACT

We describe a method for visual question answering which is capable of reasoning about contents of an image on the basis of information extracted from a large-scale knowledge base. The method not only answers natural language questions using concepts not contained in the image, but can provide an explanation of the reasoning by which it developed its answer. The method is capable of answering far more complex questions than the predominant long short-term memory-based approach, and outperforms it significantly in the testing. We also provide a dataset and a protocol by which to evaluate such methods, thus addressing one of the key issues in general visual ques- tion answering.

연구 동기 및 목표

• LSTM 기반 VQA 모델의 한계를 해결하기 위해, 설명 가능성 부족과 시각적 특징을 초월한 추론 불가능성을 해결한다.
• 이미지에 존재하지 않는 외부 세계 지식이 필요한 질문에 대해 VQA 시스템이 답변할 수 있도록 한다.
• 일반적이고 지식 중심적인 VQA 능력을 테스트하기 위한 데이터셋과 평가 프로토콜을 개발한다.
• 답변을 지식기반 엔터티와 관계에 연결함으로써 검증 가능한 추론 경로를 제공한다.
• 명시적이고 기호적인 추론이 복잡한 VQA 시나리오에서 종단간 신경망보다 뛰어난 성능을 보임을 입증한다.

제안 방법

• 딥러닝을 사용해 이미지에서 시각적 개념(객체, 속성, 장면 클래스)을 검출하고, 이를 DBpedia와 같은 지식기반의 엔터티로 매핑한다.
• 자연어 질문을 지식기반을 통해 탐색할 수 있는 SPARQL 쿼리로 변환함으로써 다단계 추론을 가능하게 한다.
• 엔터티 정렬과 의미적 매칭을 통해 시각적 정보와 지식기반에서 유래한 정보를 통합된 지식 표현으로 조합한다.
• 인간 평가자가 추론 경로를 생성하고 검증함으로써 논리적 일관성과 사실 정확성을 확보한다.
• Quepy를 사용한 모듈러한 파이프라인으로, 다중 이미지 비교 및 개념 기반 이미지 검색과 같은 질문 유형 확장을 유연하게 지원한다.
• 지식기반을 통해 쿼리 실행 경로를 추적함으로써 설명을 지원하며, 답변을 특정 사실과 관계에 연결한다.

실험 결과

연구 질문

• RQ1 외부 지식기반을 사용해 이미지의 시각적 콘텐츠를 초월하는 복잡한 질문에 대해 명시적이고 다단계 추론을 수행할 수 있는가?
• RQ2 지식기반 증강 VQA 시스템의 성능은 종단간 LSTM 기반 모델과 비교해 어떻게 되는가?
• RQ3 시스템은 인간이 이해할 수 있는 설명을 생성할 수 있으며, 이러한 설명의 정확도는 어느 정도인가?
• RQ4 다중 이미지나 직접적으로 보이지 않는 추상적 관계를 포함한 질문에 대해 시스템은 어느 정도 일반화할 수 있는가?
• RQ5 구조화된 지식은 시각질의질문 응답에서 추론의 강건성과 정확도에 어떤 영향을 미치는가?

주요 결과

• Ahab는 LSTM 기반 베이스라인에 비해 유의미하게 높은 정확도를 달성했으며, 인간 평가자에 의해 생성된 추론의 80% 이상이 정확한 것으로 평가되었다.
• LSTM 모델의 답변 중 50% 이상이 '완전히 잘못됨'(레벨 1)으로 분류되었지만, Ahab는 약 20%의 케이스에서 '부분적으로 올바름'에서 '완전히 올바름'(레벨 2–5)의 답변을 생성했다.
• 이미지에 직접적으로 언급되지 않은 경우에도, 고양이와 개가 모두 포유류임을 식별하는 것과 같은 분류 체계 지식이 필요한 복잡한 질문에 성공적으로 답변했다.
• 다중 이미지 질문에서는, 시각적으로 다를 수 있는 이미지들(예: 공항과 기차역) 간의 공통된 장면 수준의 개념인 '교통 인프라'를 정확히 식별했다.
• 개념 기반 이미지 검색에서 강건성을 입증했으며, 속성 정렬 기반으로 주어진 개념(예: '셰프' 또는 '프로그래머')에 가장 관련성이 높은 이미지를 정확히 식별했다.
• 질문을 '시각적', '일상지식', '지식기반 지식' 유형으로 분류한 KB-VQA 데이터셋은 추론 능력에 대한 공정하고 종합적인 평가를 가능하게 했다.