[논문 리뷰] KRISP: Integrating Implicit and Symbolic Knowledge for Open-Domain Knowledge-Based VQA

Kenneth Marino, Xinlei Chen외 3명|arXiv (Cornell University)|2020. 12. 20.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

KRISP는 시각-언어 사전학습에서 유추된 암묵적 지식과 다중 소스 지식 그래프에서 유도된 명시적 상징적 지식을 통합하는 새로운 프레임워크를 제안한다. 이는 개방형 도메인 지식 기반 VQA 성능을 향상시키기 위해 설계되었으며, 후기 융합과 지식 기반 추론을 통해 상징적 의미를 유지함으로써 OK-VQA에서 최신 기준 성능을 달성한다. v1.1에서 38.90%의 정확도와 v1.0에서 38.35%의 정확도를 기록하며 이전 방법들을 크게 능가한다.

ABSTRACT

One of the most challenging question types in VQA is when answering the question requires outside knowledge not present in the image. In this work we study open-domain knowledge, the setting when the knowledge required to answer a question is not given/annotated, neither at training nor test time. We tap into two types of knowledge representations and reasoning. First, implicit knowledge which can be learned effectively from unsupervised language pre-training and supervised training data with transformer-based models. Second, explicit, symbolic knowledge encoded in knowledge bases. Our approach combines both - exploiting the powerful implicit reasoning of transformer models for answer prediction, and integrating symbolic representations from a knowledge graph, while never losing their explicit semantics to an implicit embedding. We combine diverse sources of knowledge to cover the wide variety of knowledge needed to solve knowledge-based questions. We show our approach, KRISP (Knowledge Reasoning with Implicit and Symbolic rePresentations), significantly outperforms state-of-the-art on OK-VQA, the largest available dataset for open-domain knowledge-based VQA. We show with extensive ablations that while our model successfully exploits implicit knowledge reasoning, the symbolic answer module which explicitly connects the knowledge graph to the answer vocabulary is critical to the performance of our method and generalizes to rare answers.

연구 동기 및 목표

• 이미지나 학습 데이터에 존재하지 않는 지식이 요구되는 개방형 도메인 지식 기반 VQA 문제를 해결하기 위해.
• 다양한 지식 기반에서 유도된 암묵적 지식과 명시적 상징적 지식을 융합하여 OK-VQA 성능을 향상시키기 위해.
• 임베딩 공간에서의 정보 손실을 방지하면서도 추론 과정 全주기 동안 상징적 지식의 해석 가능성과 의미 명확성을 유지하기 위해.
• 특히 드문 답변에 대한 일반화 능력 향상에 있어 상징적 지식 통합의 중요성을 입증하기 위해.
• 다양한 모odal 표현과 구조화된 지식을 효과적으로 융합하여 향상된 추론 성능을 내는 통합 아키텍처를 개발하기 위해.

제안 방법

• KRISP는 대규모 데이터에서 사전학습된 시각-언어 BERT 기반 트랜스포머 모델을 사용하여 이미지 및 텍스트 입력으로부터 암묵적 지식을 캡처한다.
• DBPedia, ConceptNet, VisualGenome, hasPart KB의 네 가지 다른 소스를 통합하여 이질적인 지식 그래프를 구성한다. 이는 다양한 사실 도메인을 커버한다.
• 모델은 지식 그래프의 상징적 사실을 전파하고 추론하기 위해 그래프 신경망을 사용하며, 추론 과정 全주기 동안 노드 수준의 표현을 유지한다.
• 답안 예측은 개별 지식 그래프 노드에 대한 어텐션을 통해 수행되며, 이는 상징적 사실에 기반한 명시적이고 해석 가능한 추론을 가능하게 한다.
• 후기 융합 전략을 통해 다중모달 트랜스포머의 출력과 상징적 지식 그래프 네트워크의 출력을 융합하여 최종 답변 예측을 도출한다.
• 일관된 사전학습을 위해 VQA, 마스킹된 이미지-텍스트 복원, 지식 그래프 추론 작업을 동시에 수행함으로써 일반화 능력과 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 사전학습된 트랜스포머에서 유도된 암묵적 지식과 지식 그래프에서 유도된 명시적 상징적 지식을 융합하면 개방형 도메인 VQA 성능 향상에 기여하는가?
• RQ2 추론 파이프라인 全주기 동안 상징적 의미를 유지할 경우 모델 성능과 드문 답변에 대한 일반화 능력에 어떤 영향을 미치는가?
• RQ3 암묵적 지식와 상징적 지식 중 어느 것이 지식 기반 VQA 질문 해결에 더 큰 기여를 하는가?
• RQ4 시각-언어 및 지식 그래프 작업을 함께 사전학습하면 제로샷 또는 희소한 few-shot 일반화 능력 향상에 기여하는가?
• RQ5 후기 융합 전략이 종단간 융합 전략보다 정확도와 해석 가능성 측면에서 어떻게 우월한가?

주요 결과

• KRISP는 OK-VQA v1.1에서 38.90%의 정확도를 기록하여 이전 최신 기준 성능인 33.66%를 크게 뛰어넘는 새로운 최고 기록을 수립했다.
• 상징적 지식 모듈은 특히 드문 답변에 대해 성능 향상에 결정적인 역할을 하며, 제거 시 정확도가 급격히 감소하는 아블레이션 연구 결과가 이를 뒷받침한다.
• VQA 목표와 지식 그래프 추론 작업을 함께 사전학습함으로써 일반화 능력이 향상되었으며, 완전히 사전학습된 KRISP 모델은 38.90%의 정확도를 달성했다.
• 모델은 개별 지식 그래프 노드 기반의 답변 예측을 통해 명시적 추론을 수행함으로써 의사결정의 해석 가능성과 추적 가능성을 입증했다.
• 그래프 네트워크 구성 요소 자체를 사전학습함으로써 성능 향상이 이루어졌으며, 이는 상징적 지식 표현이 종단간 최적화 과정에서 유의미한 이점을 얻을 수 있음을 시사한다.
• 지식 그래프 내 모든 사실에 공통적으로 적용되는 상징적 추론 논리 구조 덕분에, 훈련 중에 볼 수 없었던 드문 실체나 사실에 대해서도 잘 일반화된다.