[논문 리뷰] Making the V in VQA Matter: Elevating the Role of Image Understanding in Visual Question Answering

Yash Goyal, Tejas Khot외 3명|arXiv (Cornell University)|2016. 12. 02.

Multimodal Machine Learning Applications인용 수 9

한 줄 요약

이 논문은 동일한 질문에 대해 다른 답변을 도출하는 보완적인 이미지 쌍을 수집하여 균형 잡힌 VQA 데이터셋을 제안한다. 이는 모델이 시각적 이해에 의존하도록 유도하고 언어적 사전 지식에 의존하지 않도록 한다. 이 데이터셋에서 평가된 최신 VQA 모델들은 성능이 크게 떨어지며, 이는 언어 편향을 악용하고 있음을 확인한다. 또한 이 프레임워크는 예측에 대해 반례를 제공하는 해석 가능한 새로운 모델을 가능하게 한다.

ABSTRACT

Problems at the intersection of vision and language are of significant importance both as challenging research questions and for the rich set of applications they enable. However, inherent structure in our world and bias in our language tend to be a simpler signal for learning than visual modalities, resulting in models that ignore visual information, leading to an inflated sense of their capability. We propose to counter these language priors for the task of Visual Question Answering (VQA) and make vision (the V in VQA) matter! Specifically, we balance the popular VQA dataset by collecting complementary images such that every question in our balanced dataset is associated with not just a single image, but rather a pair of similar images that result in two different answers to the question. Our dataset is by construction more balanced than the original VQA dataset and has approximately twice the number of image-question pairs. Our complete balanced dataset is publicly available at www.visualqa.org as part of the 2nd iteration of the Visual Question Answering Dataset and Challenge (VQA v2.0). We further benchmark a number of state-of-art VQA models on our balanced dataset. All models perform significantly worse on our balanced dataset, suggesting that these models have indeed learned to exploit language priors. This finding provides the first concrete empirical evidence for what seems to be a qualitative sense among practitioners. Finally, our data collection protocol for identifying complementary images enables us to develop a novel interpretable model, which in addition to providing an answer to the given (image, question) pair, also provides a counter-example based explanation. Specifically, it identifies an image that is similar to the original image, but it believes has a different answer to the same question. This can help in building trust for machines among their users.

연구 동기 및 목표

• 시각적 내용을 이해하지 못한 채 시각질의 질문에 대한 정확도가 높은 모델이 존재하는 시각질의 질문(Visual Question Answering, VQA) 분야의 일반적인 언어 사전 지식 문제를 해결하기 위해.
• 의미적으로 유사하지만 동일한 질문에 대해 다른 답변을 도출하는 이미지 쌍을 수집하여 균형 잡힌 VQA 데이터셋을 구축함으로써 언어적 신호에 의존하는 것을 줄이기 위해.
• 최신 VQA 모델들이 균형 잡힌 새로운 데이터셋에서 성능 저하를 보이며 실제로 원래 데이터셋에서 언어 편향을 악용하고 있음을 경험적으로 입증하기 위해.
• 예측 결과뿐만 아니라 답변이 다를 수 있는 반례 이미지를 제공하는 새로운 해석 가능한 VQA 모델을 개발하여 모델 신뢰도와 투명성을 향상시키기 위해.

제안 방법

• 기존 VQA 데이터셋의 (이미지, 질문, 답변) 삼중조에 대해 인간 평가자가 동일한 질문에 대해 다른 답변을 도출하는 보완적인 이미지를 식별한다.
• 보완적인 이미지는 VGGNet의 fc7 특징 공간에서 의미적 유사도를 기반으로 선택되며, 세부적인 시각적 이해가 필요로 하는 미세한 시각적 차이를 보장한다.
• 결과적으로 균형 잡힌 데이터셋은 약 110만 개의 (이미지, 질문) 쌍을 포함하며, 약 20만 개의 COCO 이미지에서 유래하고, 관련된 답변은 약 1300만 개로 원래 VQA 데이터셋의 두 배가 된다.
• 새로운 설명 가능한 VQA 모델은 답변 예측뿐만 아니라, 다른 답변을 도출할 수 있는 유사한 이미지 목록을 예측하도록 학습되며, 학습된 설명 헤드를 사용한다.
• 모델의 설명 품질은 Recall@5를 사용하여 평가되며, 모델이 순서를 매긴 후보 반례 목록을 인간 평가자가 제공한 것과 비교한다.
• 기준 모델로는 무작위 선택, 거리 기반 정렬(근접 이웃), 그리고 VQA 모델의 예측 확률을 사용하여 후보 이미지를 순서 매긴다.

실험 결과

연구 질문

• RQ1 의미적으로 유사한 이미지에서 동일한 질문에 대해 다른 답변이 도출되는 데이터셋을 구성함으로써 VQA에서의 언어 사전 지식을 경험적으로 입증할 수 있는가?
• RQ2 최신 VQA 모델들이 얼마나 많은 언어 패턴에 의존하는가를, 균형 잡힌 데이터셋에서의 성능 저하 측정을 통해 평가할 수 있는가?
• RQ3 사용자 신뢰도와 모델 투명성을 향상시키기 위해 반례 기반 설명을 제공하는 VQA 모델를 설계할 수 있는가?
• RQ4 모델이 인간 평가자가 제공한 반례와 비교했을 때 얼마나 효과적으로 타당한 반례를 식별할 수 있으며, 어떤 기준 모델이 가장 우수한 성능을 보이는가?

주요 결과

• 시험한 모든 최신 VQA 모델들이 균형 잡힌 VQA 데이터셋에서 상당한 성능 저하를 보이며, 이는 원래 데이터셋에서 언어 사전 지식을 악용하고 있음을 경험적으로 입증한다.
• 균형 잡힌 데이터셋은 각 질문에 대한 답변 분포 P(A|Q)의 엔트로피를 높여 언어적 신호의 신뢰도를 낮춤으로써 언어 편향을 감소시킨다.
• 제안된 설명 가능한 모델은 인간 평가자가 제공한 반례를 식별하는 데 Recall@5가 43.39%를 기록하여 랜덤 기준 모델(20.79%)과 VQA 모델 기준 모델(21.65%)을 모두 능가한다.
• 거리 기준 모델은 특징 유사도를 기반으로 이미지를 순서 매기며 42.84%의 Recall@5를 기록하여, 단순히 시각적 유사도만으로도 강력한 신호임을 보여주지만, 의미 있는 반례 식별에는 부족함을 드러낸다.
• 제안된 모델과 거리 기준 모델 간의 성능 격차는 의미 있는 반례 예측을 위해서는 단순한 특징 거리 초월한 시각적 이해가 필요하다는 것을 시사한다.
• 균형 잡힌 데이터셋(VQA v2.0)의 가용성은 VQA 모델의 보다 신뢰할 수 있는 벤치마킹을 가능하게 하여 진정한 시각적 이해의 발전을 촉진한다.