[논문 리뷰] Explainable High-order Visual Question Reasoning: A New Benchmark and Knowledge-routed Network

Qingxing Cao, Bailin Li외 2명|arXiv (Cornell University)|2019. 09. 23.

Multimodal Machine Learning Applications참고 문헌 29인용 수 9

한 줄 요약

이 논문은 설명 가능하고 고차원 시각질문응답(VQA)을 위한 HVQR 벤치마크를 소개하며, 이미지 시나리오 그래프와 일반지식 지식기반을 기반으로 한 다단계 추론을 강조한다. 지식 라우팅 모듈러 네트워크(KM-net)를 제안하여 질의 레이아웃을 사용해 추론 경로를 명시적으로 모델링하고, 새로운 벤치마크에서 최신 기준 성능을 달성하며, 복잡하고 지식에 의존적인 질문에서 이전 모델들보다 뚜렷한 성능 향상을 보였다.

ABSTRACT

Explanation and high-order reasoning capabilities are crucial for real-world visual question answering with diverse levels of inference complexity (e.g., what is the dog that is near the girl playing with?) and important for users to understand and diagnose the trustworthiness of the system. Current VQA benchmarks on natural images with only an accuracy metric end up pushing the models to exploit the dataset biases and cannot provide any interpretable justification, which severally hinders advances in high-level question answering. In this work, we propose a new HVQR benchmark for evaluating explainable and high-order visual question reasoning ability with three distinguishable merits: 1) the questions often contain one or two relationship triplets, which requires the model to have the ability of multistep reasoning to predict plausible answers; 2) we provide an explicit evaluation on a multistep reasoning process that is constructed with image scene graphs and commonsense knowledge bases; and 3) each relationship triplet in a large-scale knowledge base only appears once among all questions, which poses challenges for existing networks that often attempt to overfit the knowledge base that already appears in the training set and enforces the models to handle unseen questions and knowledge fact usage. We also propose a new knowledge-routed modular network (KM-net) that incorporates the multistep reasoning process over a large knowledge base into visual question reasoning. An extensive dataset analysis and comparisons with existing models on the HVQR benchmark show that our benchmark provides explainable evaluations, comprehensive reasoning requirements and realistic challenges of VQA systems, as well as our KM-net's superiority in terms of accuracy and explanation ability.

연구 동기 및 목표

• 기존 VQA 벤치마크가 정답 정확도에만 초점을 맞추고 추론 과정 평가가 부족한 점을 해결하기 위해.
• 기존 데이터셋에서 편향된 질문-정답 상관관계에 과적합되는 모델 문제를 해결하기 위해, 미리보지 않은 지식 트리플릿에 일반화하도록 유도하기 위해.
• 정답 정확도와 추론 단계의 해석 가능성 양자를 평가할 수 있는 벤치마크를 개발하기 위해.
• 외부 지식기반과 시나리오 그래프에서 지식을 라우팅함으로써 명시적이고 모듈러하며 설명 가능한 추론을 수행할 수 있는 모델을 설계하기 위해.
• 모든 질문에서 각 지식 트리플릿이 한 번만 나타나도록 보장하여, 기억 학습을 방지함으로써 VQA 시스템에 현실적인 과제를 제공하기 위해.

제안 방법

• HVQR 벤치마크는 이미지 시나리오 그래프의 하나 또는 두 개의 관계 트리플릿과 외부 일반지식 지식기반을 활용해 질문을 구성하며, 복잡한 다단계 추론 작업을 형성한다.
• 각 이미지마다 시나리오 그래프와 지식기반 트리플릿을 병합하여 동적으로 지식 그래프를 구성함으로써, 시각적 지식과 외부 지식 양쪽 모두에 기반한 추론이 가능해진다.
• 제안된 KM-net 모델은 질문을 지식 그래프 상의 추론 경로를 나타내는 기호적 질의 레이아웃으로 분석한다.
• 모델은 각 모듈이 추론 단계에 해당하는 모듈러 네트워크 아키텍처를 사용하며, 지식 그래프 내 관련 엔터티와 관계에 주의를 기울인다.
• 테스트 시점에 질의 레이아웃을 예측하는 질의 추정기(query estimator)를 활용하여, 정답 레이아웃 감독 없이도 엔드 투 엔드 추론이 가능해진다.
• 예측된 지원 트리플릿의 재현율을 평가하는 설명 평가 지표를 도입하여, 추론 과정의 진단적 평가가 가능해졌다.

실험 결과

연구 질문

• RQ1 고차원 시각질문응답에서 정답 정확도와 추론 과정의 해석 가능성 양자를 효과적으로 평가할 수 있는 VQA 벤치마크가 존재할 수 있는가?
• RQ2 학습 데이터를 기억하지 않고도 시각적 지식과 일반지식 기반으로 명시적이고 다단계 추론을 수행할 수 있는 모델는 어떻게 설계할 수 있는가?
• RQ3 외부 지식을 통합할 경우, 복잡하고 구성적으로 구조화된 질문에서 성능 향상은 어느 정도 이루어지는가?
• RQ4 모델의 추론 경로(질의 레이아웃) 예측 능력이 전체 성능과 설명 가능성에 어떤 영향을 미치는가?
• RQ5 모듈러이고 지식 라우팅 기반 아키텍처는 추론 중심 VQA 과제에서 엔드 투 엔드 모델을 능가할 수 있는가?

주요 결과

• 제안된 KM-net는 HVQR 벤치마크에서 전체 정답 정확도 85.12%를 달성하여, 이전 최고 성능 모델들을 크게 앞서 갔다.
• 지식 기반 관련 질문(QType 2 및 QType 5)에서 KM-net는 두 번째로 좋은 방법보다 28.05% 향상된 성능을 보이며 강력한 지식 활용 능력을 입증했다.
• 설명 평가 지표를 통해 KM-net는 지원 트리플릿의 평균 재현율 23.08%를 달성하여, 예측된 추론과 진짜 사실 간의 강한 일치를 보였다.
• 절단 실험 결과 시나리오 그래프 이해가 핵심임을 확인: 시나리오 그래프 레이아웃이 테스트 시점에 제공되지 않으면 성능이 25.19%로 급격히 떨어지며, 모델의 정확한 시각 인식에 의존함을 입증했다.
• 이차 질문에서의 성능은 두 번째로 좋은 방법의 거의 두 배에 이를 정도로 뛰어난 다단계 추론 능력을 증명했다.
• FULL 설정에서 100% 정확도를 달성하여, HVQR 벤치마크의 구성 및 레이블링 과정의 정확성과 일관성을 검증했다.