[논문 리뷰] Inverse Visual Question Answering: A New Benchmark and VQA Diagnosis Tool

Feng Liu, Tao Xiang외 3명|arXiv (Cornell University)|2018. 03. 16.

Multimodal Machine Learning Applications인용 수 3

한 줄 요약

이 논문은 다중모달 이해를 평가하기 위해 이미지-답변 쌍에서 질문을 생성하는 새로운 벤치마크인 역방향 시각질문응답(iVQA)을 소개한다. 이는 다각적이고 맥락에 부합하는 질문을 생성하는 변동형 iVQA 모델을 제안하며, 기존 VQA 모델의 '신념 집합'(belief sets)을 폭 드러내어 광범위한 오류적 믿음, 특히 적대적 및 무관한 질문-답변 쌍을 폭 드러내어 현재 VQA 모델가 표준 벤치마크에서 높은 정확도를 기록하고 있음에도 불구하고 단순한 전략에 의존하고 일반화 능력이 떨어진다는 것을 입증한다.

ABSTRACT

In recent years, visual question answering (VQA) has become topical. The premise of VQA's significance as a benchmark in AI, is that both the image and textual question need to be well understood and mutually grounded in order to infer the correct answer. However, current VQA models perhaps `understand' less than initially hoped, and instead master the easier task of exploiting cues given away in the question and biases in the answer distribution. In this paper we propose the inverse problem of VQA (iVQA). The iVQA task is to generate a question that corresponds to a given image and answer pair. We propose a variational iVQA model that can generate diverse, grammatically correct and content correlated questions that match the given answer. Based on this model, we show that iVQA is an interesting benchmark for visuo-linguistic understanding, and a more challenging alternative to VQA because an iVQA model needs to understand the image better to be successful. As a second contribution, we show how to use iVQA in a novel reinforcement learning framework to diagnose any existing VQA model by way of exposing its belief set: the set of question-answer pairs that the VQA model would predict true for a given image. This provides a completely new window into what VQA models `believe' about images. We show that existing VQA models have more erroneous beliefs than previously thought, revealing their intrinsic weaknesses. Suggestions are then made on how to address these weaknesses going forward.

연구 동기 및 목표

• 현재 VQA 벤치마크의 한계를 해결하기 위해, 데이터셋 편향과 단순화된 학습 전략에 취약한 기존 벤치마크의 문제점을 해결한다.
• 표준 VQA보다 더 강력하고 개방형 세계 기반의 벤치마크로 iVQA를 제안하여, 더 깊은 시각-언어적 이해가 요구됨을 보여준다.
• 기존 VQA 모델의 신념 집합을 폭 드러내는 진단 프레임워크를 개발하여 숨겨진 오해와 약점을 드러낸다.
• VQA 모델의 주요 실패 유형, 예를 들어 일관되지 않은 믿음, 무관한 예측, 적대적 일반화 오류 등을 특정한다.
• 향후 모델 평가를 표준 벤치마크를 초월하기 위해, 적대적 예제로 구성된 새로운 도전적인 VQA 데이터셋을 제안한다.

제안 방법

• 이미지와 답변 쌍을 조건으로 하여 다양한 문장, 문법적으로 올바르고 내용에 부합하는 질문을 생성하는 변동형 iVQA 모델을 훈련한다.
• 시퀀스-투-시퀀스 아키텍처에 주의 메커니즘을 적용하여 언어적 일관성과 시각적 관련성을 확보한다.
• 사전에 훈련된 VQA 모델이 주어진 답변의 가능성을 최대화하도록 하는 강화학습 프레임워크를 활용하여, 모델의 신념 집합을 탐색한다.
• VQA 모델의 신념 집합은 주어진 이미지에 대해 모델이 올바른 것으로 예측할 수 있는 모든 질문-답변 쌍의 집합으로 정의된다.
• 시각적으로 타당한 질문이지만 VQA 모델이 잘못된 방식으로 답변하는 경우를 수집하여 적대적 예제를 확보한다.
• 네 개의 VQA 모델의 신념 집합에서 유래한 282개의 적대적 예제로 구성된 새로운 집중형 벤치마크 데이터셋을 구축하였으며, 평가를 위해 인간이 애너테이션한 정답을 제공한다.

실험 결과

연구 질문

• RQ1 iVQA는 답변 편향과 데이터셋 단순화 전략에 대한 민감도를 줄여 표준 VQA보다 더 강력한 벤치마크로 기능할 수 있는가?
• RQ2 기존 VQA 모델들이 이미지 내용에 대해 오류가 있거나 일관되지 않은 믿음을 얼마나 많이 가지고 있으며, 이를 체계적으로 진단할 수 있는가?
• RQ3 VQA 모델의 신념 집합은 표준 데이터셋의 참조 애너테이션과 어떻게 비교되는가? 가장 흔한 오류 유형은 무엇인가?
• RQ4 iVQA가 생성한 질문은 표준 평가에서 놓치는 숨겨진 약점, 예를 들어 무관하거나 적대적인 예측을 드러낼 수 있는가?
• RQ5 현재 VQA 모델의 주요 실패 유형은 무엇이며, 향후 모델은 이를 피하기 위해 어떻게 설계되어야 하는가?

주요 결과

• 기존 VQA 모델들은 광범위한 오류적 믿음을 보이며, 새로운 적대적 벤치마크에서 정확도가 40% 감소함으로써 표준 데이터셋에서의 높은 성능에도 불구하고 일반화 능력이 떨어지는 것으로 나타났다.
• VQA 모델의 신념 집합에는 상당수의 '적대적' 및 '무관한' 질문-답변 쌍이 포함되어 있어, 모델가 시각적 근거 없이도 자신감 있게 예측하는 경향을 드러낸다.
• iVQA 모델은 다양한 문장, 문법적으로 올바르고 시각적으로 관련성이 있는 질문을 성공적으로 생성하여, 복잡한 시각-언어적 관계를 모델링할 수 있음을 입증한다.
• 분석 결과, 모델가 상호 모순된 믿음을 동시에 가진다는 '이중사고(doublethink)' 현상이 나타나, 더 일관된 추론 메커니즘이 필요함을 시사한다.
• 282개의 예제로 구성된 제안된 적대적 데이터셋은 모델의 약점을 효과적으로 드러내었으며, 최첨단 모델인 MCB-att조차도 가장 도전적인 예제에서 14.54%의 정확도에 그쳤다.
• 현재 데이터셋은 너무 희박하고 편향되어 있어, 모델가 강력한 시각적 표현을 학습하지 못하게 하며, 이는 조밀하고 주도적인 학습 기반의 애너테이션 전략이 필요함을 시사한다.