[논문 리뷰] OK-VQA: A Visual Question Answering Benchmark Requiring External Knowledge

Kenneth Marino, Mohammad Rastegari외 2명|arXiv (Cornell University)|2019. 05. 31.

Multimodal Machine Learning Applications참고 문헌 56인용 수 10

한 줄 요약

이 논문은 이미지 내용 외부의 외부 지식이 필요로 하는 시각질문응답(VQA) 벤치마크인 OK-VQA를 소개한다. 이 벤치마크는 위키백과와 같은 비정형 지식 소스를 활용한 추론이 요구되는 14,000개 이상의 질문을 포함한다. 최신 VQA 모델들은 이 데이터셋에서 성능이 극적으로 떨어지며, 이는 그 어려움을 입증하고 외부 지식 검색 및 추론을 통합하는 모델의 필요성을 시사한다.

ABSTRACT

Visual Question Answering (VQA) in its ideal form lets us study reasoning in the joint space of vision and language and serves as a proxy for the AI task of scene understanding. However, most VQA benchmarks to date are focused on questions such as simple counting, visual attributes, and object detection that do not require reasoning or knowledge beyond what is in the image. In this paper, we address the task of knowledge-based visual question answering and provide a benchmark, called OK-VQA, where the image content is not sufficient to answer the questions, encouraging methods that rely on external knowledge resources. Our new dataset includes more than 14,000 questions that require external knowledge to answer. We show that the performance of the state-of-the-art VQA models degrades drastically in this new setting. Our analysis shows that our knowledge-based VQA task is diverse, difficult, and large compared to previous knowledge-based VQA datasets. We hope that this dataset enables researchers to open up new avenues for research in this domain. See http://okvqa.allenai.org to download and browse the dataset.

연구 동기 및 목표

• 기존 VQA 벤치마크가 시각적 인식에 집중할 뿐 아니라 추론이나 외부 지식에 대한 한계를 해결하기 위해.
• 지식 기반 시각질문응답을 위한 대규모, 다양한, 도전적인 벤치마크를 구축하기 위해.
• VQA 모델이 위키백과와 같은 외부 지식 소스를 검색하고 추론하는 능력을 평가하기 위해.
• 최신 VQA 모델들이 이 새로운 벤치마크에서 실패함을 입증함으로써, 향상된 추론 및 지식 통합이 필요함을 보여주기 위해.

제안 방법

• OK-VQA 데이터셋은 이미지 내용만으로는 도출될 수 없는 14,000개 이상의 질문-답변 쌍으로 구성되어 있다.
• 질문은 인간 애너테이터로부터 수집되며, 답변에 이미지 외부 지식을 사용하도록 요구함으로써 지식 의존성을 확보한다.
• 외부 지식는 위키백과 기사에서 확보되며, 키워드 기반 검색을 통해 관련 문장을 추출하여 실제 검색 환경을 시뮬레이션한다.
• 기준 모델인 MUTAN+AN은 시각적 특징과 외부 지식 검색(ArticleNet)을 결합하여 답변 예측 성능을 향상시킨다.
• 성능 평가에는 VQA 점수를 사용하며, 시각적 특징과 외부 지식 유무에 따라 모델을 비교한다.
• 정밀도 분석을 위해 다양한 ResNet 아키텍처와 다양한 학습 데이터셋 크기를 사용하여 모델의 안정성과 데이터셋의 난이도를 분석한다.

실험 결과

연구 질문

• RQ1 최신 VQA 모델들은 이미지 외부의 외부 지식이 필요한 질문에 일반화할 수 있는가?
• RQ2 외부 지식이 질문에 필요할 경우 VQA 모델의 성능은 어떻게 저하되는가?
• RQ3 비정형 지식 소스인 위키백과와 같은 자료가 지식 집약적인 질문에서 VQA 성능을 얼마나 향상시킬 수 있는가?
• RQ4 시각적 특징은 지식 기반 VQA에서 어떤 역할을 하는가? 그리고 그 결여가 성능에 어떤 영향을 미치는가?
• RQ5 학습 데이터의 크기가 이 도전적인 벤치마크에서 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 최신 VQA 모델, 특히 MUTAN은 표준 벤치마크에서 70% 이상의 점수를 기록했지만 OK-VQA에서는 27% 이하로 급격히 떨어지며 성능 저하가 뚜렷하다.
• Q-Only 기준 모델은 시각적 입력 없이 질문 특징만 사용하여 14.93%의 VQA 점수를 기록했으며, 이는 시각적 기반의 중요성을 확인하고 답변 편향이 효과적으로 제거되었음을 시사한다.
• ResNet152 특징을 사용할 경우 MUTAN은 OK-VQA에서 26.41%의 점수를 기록하지만, 더 깊은 네트워크에서의 성능 향상은 미미하여 주요 과제가 시각적 특징 품질이 아니라 지식 검색에 있음을 시사한다.
• 외부 지식 검색을 통합한 MUTAN+AN 모델은 MUTAN 단독 모델보다 뛰어난 성능을 보이며, 이는 외부 지식이 지식 집약적인 질문에서 추론 능력을 크게 향상시킴을 보여준다.
• 학습 데이터셋 크기의 정밀도 분석 결과, 더 많은 데이터로 학습할수록 성능 향상이 이루어지지만, 전체 데이터셋을 사용한 경우에도 인간 수준의 성능에 도달하지 못하며 이는 데이터셋의 난이도를 입증한다.
• 정성 분석 결과 ArticleNet은 과학, 요리, 브랜드 등의 카테고리 질문에 대해 관련 위키백과 문장을 성공적으로 검색함을 확인하여 검색 기반의 효과성을 입증한다.