[논문 리뷰] Beyond Question-Based Biases: Assessing Multimodal Shortcut Learning in Visual Question Answering

Corentin Dancette, Rémi Cadène외 2명|arXiv (Cornell University)|2021. 04. 07.

Multimodal Machine Learning Applications참고 문헌 41인용 수 62

한 줄 요약

본 논문은 VQA-CE를 도입하여 VQA 데이터셋의 다중모달 단축키를 식별하고 테스트하는 평가 프로토콜을 제시하며, 최첨단 모델이 이러한 단축키에 의존하고 편향 축소 방법이 재학습 없이 대체로 효과가 없다는 것을 밝힌다.

ABSTRACT

We introduce an evaluation methodology for visual question answering (VQA) to better diagnose cases of shortcut learning. These cases happen when a model exploits spurious statistical regularities to produce correct answers but does not actually deploy the desired behavior. There is a need to identify possible shortcuts in a dataset and assess their use before deploying a model in the real world. The research community in VQA has focused exclusively on question-based shortcuts, where a model might, for example, answer "What is the color of the sky" with "blue" by relying mostly on the question-conditional training prior and give little weight to visual evidence. We go a step further and consider multimodal shortcuts that involve both questions and images. We first identify potential shortcuts in the popular VQA v2 training set by mining trivial predictive rules such as co-occurrences of words and visual elements. We then introduce VQA-CounterExamples (VQA-CE), an evaluation protocol based on our subset of CounterExamples i.e. image-question-answer triplets where our rules lead to incorrect answers. We use this new evaluation in a large-scale study of existing approaches for VQA. We demonstrate that even state-of-the-art models perform poorly and that existing techniques to reduce biases are largely ineffective in this context. Our findings suggest that past work on question-based biases in VQA has only addressed one facet of a complex issue. The code for our method is available at https://github.com/cdancette/detect-shortcuts.

연구 동기 및 목표

• VQA 데이터셋에서 텍스트-시각적 공기(co-occurrences)를 탐색하여 다중모달 단축키를 식별한다.
• 재학습 없이 단축키에 대한 모델 의존성을 탐색하기 위한 VQA-CounterExamples (VQA-CE) 평가를 개발한다.
• VQA v2 데이터셋에서 VQA-CE를 사용하여 다양한 VQA 모델과 편향 축소 방법을 평가한다.
• 대부분 가장 많이 활용되는 단축키와 카운터예제가 모델 성능에 미치는 영향을 분석한다.

제안 방법

• 각 VQA 트리플(이미지, 질문, 정답)을 단어 토큰, 탐지된 객체, 정답에 대한 이진 벡터로 인코딩한다.
• 자주 등장하는 아이템셋 마이닝(GMiner)을 적용하여 규칙 A -> C를 형성하는 선행조건과 결론을 추출한다.
• 학습 신뢰도와 중복성을 기반으로 규칙을 필터링하여 그럴듯한 단축키 집합을 얻는다.
• 높은 신뢰도 규칙으로부터 단축키 기반 분류기를 구성하고 검증 데이터에서의 예측력을 평가한다.
• 모델 재학습 없이 단축키가 실패하거나 성공하는 VQA v2 검증 세트의 Counterexamples와 Easy 하위집합을 생성한다.
• VQA-CE 프로토콜을 사용하여 전반적인 정확도와 Counterexamples 및 Easy 하위집합의 정확도를 비교하여 모델 성능을 평가한다.

Figure 1: Overview of this work. We first mine simple predictive rules in the training data such as: what + sport + $\color[rgb]{1,0.49609375,0}{\mathrm{racket}^{V}}$ $\rightarrow$ tennis . We then search for counterexamples in the validation set that identify some rules as undesirable statistical s

실험 결과

연구 질문

• RQ1 VQA v2 학습 데이터에 어떤 다중모달 단축키(텍스트 + 시각적 단서)가 존재하는가?
• RQ2 현재의 VQA 모델은 이러한 다중모달 단축키에 의존하는가, 그리고 편향 축소 방법이 이 의존성을 완화할 수 있는가?
• RQ3 Shortcut-based Counterexamples가 표준 평가와 비교하여 최첨단 VQA 모델의 취약점을 어떻게 드러내는가?
• RQ4 특정 모델이 가장 많이 활용하는 특정 단축키를 식별할 수 있는가?

주요 결과

• VQA v2 학습 데이터에 다수의 다중모달 단축키가 존재하며, 많은 단축키가 검증 데이터에서 예측가능하며 주로 다중모달임(~90%).
• 최첨단 VQA 모델은 Counterexamples 하위집합에서 상당한 정확도 하락을 보이며 UpDown, SAN, BLOCK, VilBERT와 같은 모델에서 대략 29포인트 손실에 달한다.
• 마이닝된 규칙을 이용한 단축키 기반 분류기가 VQA v2 검증에서 42.26%의 전체 정확도를 달성하고 강력한 베이스라인과 비슷하지만 Counterexamples에서는 0%를 기록하여 단축키 의존성을 시사한다.
• 편향 축소 방법(RUBi, LMH 변형, ESR 등)은 Counterexamples에서의 개선이 제한적이며 Easy 하위집합의 성능을 해치는 경향이 있어 자연스러운 다중모달 단축키로의 일반화가 제한됨을 시사한다.
• 일부 단축키는 모델 예측과 높은 상관관계를 보이며(고신뢰도 다중모달 규칙 포함), 일부는 모델 출력과 100% 상관에 도달하여 모델이 실제로 이러한 단축키를 활용하는 것을 강조한다.

Figure 2: Pipeline of the proposed method to detect potential shortcuts in a VQA training set. We detect and label objects in images with a Faster R-CNN model. We then summarize each VQA example with binary indicators representing words in the question, answer, and labels of detected objects. Finall