[논문 리뷰] Super-CLEVR: A Virtual Benchmark to Diagnose Domain Robustness in Visual Reasoning

Zhuowan Li, Xingrui Wang외 5명|arXiv (Cornell University)|2022. 12. 01.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 시각적 복잡도, 질문 중복성, 개념 분포, 개념 조합성의 네 가지 핵심 요인을 분리함으로써 도메인 강인성 문제를 진단할 수 있는 제어 가능한 가상 벤치마크인 Super-CLEVR를 소개한다. 이들 제어된 변화에서 VQA 모델(특히 불확실성 추론을 통합한 새로운 확률적 NSVQA(P-NSVQA))을 훈련 및 테스트함으로써, 인식과 추론을 분리하고 불확실성 모델링을 수행하면 강인성이 크게 향상됨을 보여주며, P-NSVQA는 네 가지 도메인 이동 요인 중 세 가지에서 기존 방법을 능가한다.

ABSTRACT

Visual Question Answering (VQA) models often perform poorly on out-of-distribution data and struggle on domain generalization. Due to the multi-modal nature of this task, multiple factors of variation are intertwined, making generalization difficult to analyze. This motivates us to introduce a virtual benchmark, Super-CLEVR, where different factors in VQA domain shifts can be isolated in order that their effects can be studied independently. Four factors are considered: visual complexity, question redundancy, concept distribution and concept compositionality. With controllably generated data, Super-CLEVR enables us to test VQA methods in situations where the test data differs from the training data along each of these axes. We study four existing methods, including two neural symbolic methods NSCL and NSVQA, and two non-symbolic methods FiLM and mDETR; and our proposed method, probabilistic NSVQA (P-NSVQA), which extends NSVQA with uncertainty reasoning. P-NSVQA outperforms other methods on three of the four domain shift factors. Our results suggest that disentangling reasoning and perception, combined with probabilistic uncertainty, form a strong VQA model that is more robust to domain shifts. The dataset and code are released at https://github.com/Lizw14/Super-CLEVR.

연구 동기 및 목표

• 시각, 언어, 추론의 복잡한 변화가 뒤섞여 있는 상황에서 VQA 도메인 이동의 기여 요인에 대한 체계적 분 析가 부족한 문제를 해결하기 위해.
• 시각 질문 응답에서 도메인 이동 요인을 독립적으로 연구할 수 있도록 하는 제어 가능한 가상 벤치마크를 개발하기 위해.
• 기존 VQA 모델을 고립된 도메인 이동 요인에 대해 평가하고, 강인성의 약점을 진단하기 위해.
• 신경-기호 VQA 프레임워크에 불확실성 추론을 통합하여 모델 강인성을 향상시키기 위해.
• 합성 Super-CLEVR에서의 통찰을 실제 GQA 데이터셋으로 이식하여 실세계 데이터에서의 발견을 검증하기 위해.

제안 방법

• Super-CLEVR는 UDA-Part 데이터셋의 3D 차량 모델을 사용하여 시각적 복잡도, 질문 중복성, 개념 분포, 조합성의 제어된 변화를 가진 합성 VQA 데이터를 생성한다.
• 질문과 답변은 템플릿을 통해 자동 생성되어 각 도메인 이동 요인에 대한 정밀한 제어가 가능하다.
• 벤치마크는 네 가지 고립된 도메인 이동 축을 지원한다: (1) 시각적 복잡도(객체 수, 질감), (2) 질문 중복성(중복된 표현 대비 최소 표현), (3) 개념 분포(개념에 대한 확률 분포 이동), (4) 개념 조합성(학습 중에 보이지 않은 새로운 조합).
• 네 가지 기존 모델이 평가되었다: FiLM(비기호적), mDETR(대규모 사전학습), NSCL, NSVQA(신경-기호적).
• 기존 NSVQA의 기호 실행기 내에 불확실성 추정을 통합하여 확률적 집계를 가능하게 한 새로운 모델인 확률적 NSVQA(P-NSVQA)가 제안된다.
• 각 고립된 요인에 대해 도메인 내 및 도메인 외 설정에서 모델 성능을 평가하였으며, 다양한 방법 간의 추론 및 분석을 수행하였다.

Figure 1 : We decompose VQA domain shifts into four contributing factors: visual complexity, question redundancy, concept distribution and concept compositionality. The domain shifts along each factor can be independently studied with the proposed Super-CLEVR dataset.

실험 결과

연구 질문

• RQ1 시각적 복잡도, 질문 중복성, 개념 분포, 조합성 등의 다양한 도메인 이동 요인이 VQA 모델의 강인성에 어떻게 영향을 미치는가?
• RQ2 제어된 도메인 이동 조건 하에서 모듈형 신경-기호 모델이 비모듈형 모델보다 얼마나 뛰어난 성능을 보이는가?
• RQ3 기호 VQA 모델에 불확실성 추론을 통합하면 다양한 도메인 이동 요인에 걸쳐 강인성이 향상되는가?
• RQ4 Super-CLEVR와 같은 합성 벤치마크에서의 발견이 GQA와 같은 실세계 VQA 데이터셋으로 일반화되는가?
• RQ5 어느 특정 아키텍처 선택(예: 인식과 추론의 분리, 불확실성 모델링)이 도메인 일반화 성능 향상에 기여하는가?

주요 결과

• P-NSVQA는 질문 중복성, 개념 분포, 개념 조합성의 세 가지 도메인 이동 요인에서 모든 기준 모델을 능가한다.
• FiLM 및 mDETR와 같은 비모듈형 모델에 비해 모듈형 신경-기호 모델인 NSVQA는 질문 중복성에 대해 더 뛰어난 강인성을 보였다.
• 비모듈형 모델인 mDETR는 모듈형 모델보다 시각적 복잡도 변화에 더 강인한 것으로 나타나, 모ularity와 시각적 복잡도에 대한 강인성 사이에 상충관계가 있음을 시사한다.
• 실제 GQA 데이터셋에서 mDETR는 중복 질문 정보를 점진적으로 제거함에 따라 정확도가 크게 감소(−14.56%)하는 반면, 신경-기호 모델은 P-NSVQA의 경우 −5.78%로 낮은 감소를 보여, Super-CLEVR의 발견을 확인한다.
• 중복 정보가 100% 제거되었을 때 mDETR의 성능 감소는 −14.56%였고, P-NSVQA는 오직 −5.78%로 감소하여 실세계 환경에서 질문 중복성에 대한 강인성을 입증한다.
• 이 연구는 인식과 추론을 분리하고 명시적인 불확실성 모델링을 통합할 경우, 다양한 도메인 이동에 걸쳐 더 강력하고 강인한 VQA 모델이 도출됨을 확인한다.

Figure 2 : Super-CLEVR contains 21 vehicle models belonging to 5 categories, with controllable attributes.