[논문 리뷰] Knowledge-Routed Visual Question Reasoning: Challenges for Deep Representation Embedding

Qingxing Cao, Bailin Li외 3명|arXiv (Cornell University)|2020. 12. 14.

Multimodal Machine Learning Applications참고 문헌 35인용 수 5

한 줄 요약

이 논문은 외부 지식을 사용하여 다단계 추론을 수행할 수 있는 시각질문응답(VQA) 모델의 능력을 평가하기 위해 지식 기반 시각질문응답(KRVQR) 데이터셋을 소개한다. 이는 유사한 학습을 최소화하는 데 초점을 맞춘다. 제어된 프로그램을 통해 Visual Genome와 지식 기반에서 하나 또는 두 개의 삼중항을 선택하여 질문을 생성함으로써, 이미지 객체와 관련된 지식 삼중항은 딱 하나뿐이며, 테스트 시에 사용된 지식은 훈련 중에 볼 수 없도록 보장함으로써, 모델들이 시각적 맥락과 배경 지식을 모두 고려하여 추론하도록 유도한다. 실험 결과, 현재의 딥 러닝 모델들은 지식 사전학습을 통해 미세조정했을 때도 오직 22.23%의 정확도를 기록하며, 지식 검색 및 추론 능력에 심각한 한계가 있음을 드러내며, 지식 기반 지원 사실이 있는 모델과 없는 모델 사이에 큰 격차가 있음을 시사한다.

ABSTRACT

Though beneficial for encouraging the Visual Question Answering (VQA) models to discover the underlying knowledge by exploiting the input-output correlation beyond image and text contexts, the existing knowledge VQA datasets are mostly annotated in a crowdsource way, e.g., collecting questions and external reasons from different users via the internet. In addition to the challenge of knowledge reasoning, how to deal with the annotator bias also remains unsolved, which often leads to superficial over-fitted correlations between questions and answers. To address this issue, we propose a novel dataset named Knowledge-Routed Visual Question Reasoning for VQA model evaluation. Considering that a desirable VQA model should correctly perceive the image context, understand the question, and incorporate its learned knowledge, our proposed dataset aims to cutoff the shortcut learning exploited by the current deep embedding models and push the research boundary of the knowledge-based visual question reasoning. Specifically, we generate the question-answer pair based on both the Visual Genome scene graph and an external knowledge base with controlled programs to disentangle the knowledge from other biases. The programs can select one or two triplets from the scene graph or knowledge base to push multi-step reasoning, avoid answer ambiguity, and balanced the answer distribution. In contrast to the existing VQA datasets, we further imply the following two major constraints on the programs to incorporate knowledge reasoning: i) multiple knowledge triplets can be related to the question, but only one knowledge relates to the image object. This can enforce the VQA model to correctly perceive the image instead of guessing the knowledge based on the given question solely; ii) all questions are based on different knowledge, but the candidate answers are the same for both the training and test sets.

연구 동기 및 목표

• 유사한 학습과 평가자 편향을 최소화하는 지식 기반 시각질문응답(VQA) 평가 기준의 부족을 해결하기 위해.
• 기존의 딥 러닝 모델을 시각적 맥락과 외부 지식을 모두 고려하여 추론하도록 유도하는 데이터셋을 설계하여, 표면적인 상관관계에 의존하는 것을 방지하기 위해.
• 삼중항 선택과 답변 분포에 엄격한 제약 조건을 적용하여 이미지와 질문의 편향에서 지식을 분리하기 위해.
• 현재의 VQA 모델이 기억을 넘어서 진정한 추론 능력을 갖추고 있는지, 즉 새로운 지식 조합에 일반화할 수 있는지 평가하기 위해.

제안 방법

• Visual Genome의 시나리오 그래프 또는 외부 지식 기반에서 하나 또는 두 개의 삼중항을 선택하는 엄격하게 제어된 프로그램을 사용하여 질문-답변 쌍을 생성한다.
• 이미지 객체와 관련된 지식 삼중항이 딱 하나뿐이 되도록 제약 조건을 강제하여, 모델이 질문만으로 추측하는 것이 아니라 시각적 증거를 인지하도록 유도한다.
• 모든 테스트 질문이 훈련 중에 볼 수 없었던 지식 삼중항에 기반하도록 보장하여, 새로운 지식 조합에 대한 일반화 능력을 시험한다.
• 가이드드 어텐션 블록을 사용하여 이미지 특징과 검색된 지식 삼중항을 융합함으로써, 시각적 및 텍스트적 증거를 기반으로 한 다단계 추론을 가능하게 한다.
• 삼중항 분류와 마스크된 토큰 예측을 사용하여 지식 기반의 표면 텍스트로 질문 인코더를 사전학습시켜 지식 인코딩을 향상시킨다.
• 지식 사전학습을 통한 MCAN 모델을 미세조정하고 KRVQR 데이터셋에서 성능을 평가하여 추론 및 검색 능력을 평가한다.

실험 결과

연구 질문

• RQ1 훈련 데이터에 포함되지 않은 새로운 지식 삼중항에 대해 VQA 모델이 일반화할 수 있는가? 이는 진정한 추론인지, 기억에 의존하는지의 여부를 시사한다.
• RQ2 현재의 딥 러닝 모델들이 대규모 지식 기반에서 관련 지식을 검색하고 활용하는 데 얼마나 실패하는가?
• RQ3 답변 감독만으로는 부족할 때, 지식 사전학습이 외부 지식을 추론하는 데 모델의 능력을 얼마나 향상시키는가?
• RQ4 지식 삼중항에 대해 유일한 시각적 기반을 강제함으로써, 모델이 질문-답변 유사한 학습에 의존하는 것을 방지할 수 있는가?
• RQ5 지식 집약적인 추론 환경에서 지식 기반 지원 사실이 있는 모델과 없는 모델 사이의 성능 격차는 어느 정도인가?

주요 결과

• 지식 사전학습을 통한 MCAN 모델은 전체 정확도가 오직 22.23%에 그쳐, 현재의 딥 러닝 모델이 답변 감독만으로는 지식을 효과적으로 활용하지 못하고 있음을 시사한다.
• 미세조정 과정에서 에포크 5와 6 이후 성능이 저하된 것은 손실가치는 향상되었음에도 불구하고 훈련 데이터에 과적합된 것으로 보이며, 이는 새로운 지식으로의 일반화가 어렵다는 점을 강조한다.
• 지식 사전학습이 있음에도 불구하고, 상위 16개의 지식 삼중항을 검색했을 때 기준 모델 대비 정확도 향상 폭이 0.78%에 그쳐 지식 검색의 효과가 제한적임을 보여준다.
• 지식 추론 기능을 갖춘 모델은 26.34%의 정확도를 기록하여, 블랙박스 모델의 20.69%보다 유의미하게 높은 성능을 보이며, 지식 기반 지원 사실이 성능 향상에 필수적임을 입증한다.
• 마스크된 토큰 사전학습을 통한 22.23%의 정확도는 지식 인코딩이 가능하지만, 여전히 새로운 지식 조합으로의 일반화에 실패함을 보여주며, 이는 모델이 여전히 지식 추론에서 실패하고 있음을 시사한다.
• 결과적으로 KRVQR 데이터셋이 효과적으로 유사한 학습을 방지하고, 현재의 딥 임bedding 모델이 지식 추론에서 겪는 한계를 드러내며 검증된다.