[논문 리뷰] C-VQA: A Compositional Split of the Visual Question Answering (VQA) v1.0 Dataset

Aishwarya Agrawal, Aniruddha Kembhavi외 2명|arXiv (Cornell University)|2017. 04. 26.

Multimodal Machine Learning Applications참고 문헌 32인용 수 47

한 줄 요약

이 논문은 기존 VQA 모델이 보이는 개념의 새로운 조합으로 일반화하는 능력을 평가하기 위해 VQA v1.0 데이터셋의 조합적 분할인 C-VQA를 소개한다. 테스트 QA 쌍이 훈련 데이터에서 구성적으로 새로운 조합이 되도록 훈련 및 테스트 분할을 재구성함으로써, 저자들은 기존 VQA 모델이 표준 벤치마크에서 뛰어난 성능를 보이지만 실제로는 진정으로 일반화하지 못한다는 점을 입증한다. 이는 성능 저하가 심각하게 발생함을 시사한다.

ABSTRACT

Visual Question Answering (VQA) has received a lot of attention over the past couple of years. A number of deep learning models have been proposed for this task. However, it has been shown that these models are heavily driven by superficial correlations in the training data and lack compositionality -- the ability to answer questions about unseen compositions of seen concepts. This compositionality is desirable and central to intelligence. In this paper, we propose a new setting for Visual Question Answering where the test question-answer pairs are compositionally novel compared to training question-answer pairs. To facilitate developing models under this setting, we present a new compositional split of the VQA v1.0 dataset, which we call Compositional VQA (C-VQA). We analyze the distribution of questions and answers in the C-VQA splits. Finally, we evaluate several existing VQA models under this new setting and show that the performances of these models degrade by a significant amount compared to the original VQA setting.

연구 동기 및 목표

• 기존 VQA 모델의 조합성 부족 문제를 해결하기 위해, 표면적인 데이터 상관관계에 의존할 뿐 진정으로 일반화하지 못하는 모델의 문제를 해결한다.
• 테스트 QA 쌍이 훈련 중에 본 바 있는 개념의 새로운 조합이 되도록 보장함으로써 조합적 일반화를 강제하는 새로운 벤치마크 데이터셋 C-VQA를 만든다.
• 기존 VQA 모델이 훈련 중에 함께 나타나지 않은 새로운 개념 조합에 대해 얼마나 일반화할 수 있는지 평가한다.
• 시각적 질의 응답에서 조합적 일반화 능력을 측정하기 위한 표준화된 평가 프로토콜을 제공한다.
• 심지어 최첨단 모델들조차도 이 새로운 조합적 설정 하에서 효과적으로 일반화하지 못함을 입증한다.

제안 방법

• 테스트 QA 쌍이 구성적으로 새로운 조합이 되도록 VQA v1.0 데이터셋을 훈련, 검증, 테스트 분할로 재구성한다. 즉, 정확한 QA 쌍은 훈련 데이터에 존재하지 않지만 개별 개념은 존재한다.
• 각 테스트 QA 쌍이 훈련 중에 별개로 볼 수 있었던 개념들(예: 객체, 속성, 관계)을 조합하여 만들어지도록 보장한다. 그러나 동일한 조합은 존재하지 않는다.
• 원래의 이미지-질문-응답 삼중체 구조를 유지하면서, 구성적 신선도를 확보하기 위해 분할을 재할당한다.
• 개념 수준 분석을 통해 테스트 질문이 훈련 중에 존재했지만 동일한 QA 쌍에서는 존재하지 않는 개념 조합을 포함하고 있음을 확인한다.
• 기존의 여러 VQA 모델들(예: SAN, NMN, MCB, HieCoAtt)을 원래의 VQA v1.0와 새로운 C-VQA 분할 모두에서 훈련하고 평가하여 성능을 비교한다.
• 다양한 질문 유형(예: '어느 색입니까', '몇 개인가요', '예/아니요')에 따른 성능 저하를 정량화하여 조합성 하에서의 모델 실패 원인을 분석한다.

실험 결과

연구 질문

• RQ1 기존 VQA 모델이 훈련 중에 본 바 있는 개념의 새로운 조합으로 이루어진 질문-응답 쌍에 대해 얼마나 일반화하는가?
• RQ2 최첨단 모델들이 C-VQA 벤치마크에서 원래의 VQA v1.0 테스트 세트에서의 성능과 비교해 어떻게 성능을 내는가?
• RQ3 어느 유형의 질문(예: '어느 색입니까', '몇 개인가요', '예/아니요')에서 조합성 일반화 하에서 가장 큰 성능 저하가 발생하는가?
• RQ4 설계상으로 조합적일 것을 목표로 한 모델들(예: 신경 모듈 네트워크)도 C-VQA 설정 하에서 여전히 실패하는가? 그리고 그 이유는 무엇인가?
• RQ5 VQA v1.0과 C-VQA 간의 답변 분포와 질문 유형의 분포는 어떻게 다른가? 이는 모델의 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 모든 평가된 VQA 모델이 C-VQA에서 VQA v1.0에 비해 심각한 성능 저하를 보이며, 전체 정확도가 최대 10.8%p 감소한다(예: MCB의 경우 60.97%에서 54.15%로 감소).
• 가장 큰 성능 저하는 '이 방은 무엇입니까?'(NMN 기준 33.28%p 감소) 및 '낮인가요?'(깊은 LSTM Q + norm I 기준 29.52%p 감소)와 같은 질문에서 발생하여, 공간적 및 시간적 개념의 새로운 조합에서 실패함을 시사한다.
• 강한 언어적 사전 지식(예: '이 방은 무엇입니까?' 질문에 대해 '주방'이 흔한 응답)을 가진 모델들은 C-VQA에서 '거실'과 같은 새로운 응답에 일반화하지 못한다.
• 조합적 추론을 위해 설계된 모델들(예: NMN)조차도 C-VQA에서 성능이 떨어지며, 이는 추가적인 아키텍처적 인덕티브 바이어스 또는 데이터 편향 완화 전략이 필요함을 시사한다.
• VQA v1.0과 C-VQA 간의 모델 순위가 바뀐다. 예를 들어, SAN은 C-VQA에서 NMN과 깊은 LSTM 모델들보다 성능이 열 劣하다. 이는 표준 벤치마크 성능이 조합적 일반화 능력을 예측하지 못한다는 것을 의미한다.
• '수량' 질문의 경우, MCB는 VQA v1.0에서는 대부분의 모델보다 뛰어나지만, C-VQA에서는 다른 모델들에 밀린다. 이는 조합성의 도전 과제가 질문 유형에 따라 다름을 보여준다.