[논문 리뷰] Contrast and Classify: Alternate Training for Robust VQA.

Yash Kant, Abhinav Moudgil외 3명|arXiv (Cornell University)|2020. 10. 13.

Multimodal Machine Learning Applications참고 문헌 10인용 수 5

한 줄 요약

이 논문은 시각질문응답(VQA)에서의 강인성을 향상시키기 위해 교차엔트로피 손실과 대비 손실을 번갈아 최적화하는 새로운 훈련 프레임워크인 ConCAT을 제안한다. 언어적 변형이 있는 증강 데이터를 활용함으로써 ConCAT은 질문의 다의어 표현에 대한 강인성을 향상시키면서도 높은 정확도를 유지하며, VQA 2.0 및 VQA-Rephrasings 벤치마크에서 기존 방법들을 능가한다.

ABSTRACT

Recent Visual Question Answering (VQA) models have shown impressive performance on the VQA benchmark but remain sensitive to small linguistic variations in input questions. Existing approaches address this by augmenting the dataset with question paraphrases from visual question generation models or adversarial perturbations. These approaches use the combined data to learn an answer classifier by minimizing the standard cross-entropy loss. To more effectively leverage the augmented data, we build on the recent success in contrastive learning. We propose a novel training paradigm (ConCAT) that alternately optimizes cross-entropy and contrastive losses. The contrastive loss encourages representations to be robust to linguistic variations in questions while the cross-entropy loss preserves the discriminative power of the representations for answer classification. We find that alternately optimizing both losses is key to effective training. VQA models trained with ConCAT achieve higher consensus scores on the VQA-Rephrasings dataset as well as higher VQA accuracy on the VQA 2.0 dataset compared to existing approaches across a variety of data augmentation strategies.

연구 동기 및 목표

• 질문의 미세한 언어적 변형에 민감한 VQA 모델의 문제를 해결하기 위해.
• 표준 VQA 벤치마크에서 분류 정확도를 희생시키지 않고 모델의 강인성을 향상시키기 위해.
• 다시 표현된 질문을 포함한 데이터 증강을 효과적으로 활용하는 훈련 프레임워크를 개발하기 위해.
• 대비 손실과 교차엔트로피 손실을 번갈아 최적화하는 방식에서의 융합 효과를 탐색하기 위해.
• VQA-Rephrasings 데이터셋에서 더 높은 공감도 점수를 달성하고, VQA 2.0에서 정확도를 향상시키기 위해.

제안 방법

• 표준 교차엔트로피 손실을 통한 답변 분류 최적화와 대비 손실을 통한 표현 강인성 최적화를 번갈아 수행한다.
• 대비 손실은 동일한 이미지-질문 쌍이 다른 언어적 형태로 표현될 때 유사한 표현을 유도하도록 적용된다.
• 시각질문생성 모델을 활용해 다시 표현된 질문을 생성함으로써 데이터 증강을 수행한다.
• 모델은 언어적 변형에 대해 불변인 표현을 학습하면서도 답변 예측을 위한 분류 능력을 유지한다.
• 번갈아 최적화 스케줄은 강인성과 분류 정확도 간의 균형 잡힌 학습을 보장한다.
• 다양한 데이터 증강 전략을 적용해 VQA 2.0 및 VQA-Rephrasings 데이터셋에서 평가한다.

실험 결과

연구 질문

• RQ1 대비 손실과 교차엔트로피 손실을 번갈아 최적화하는 방식이 질문의 다의어 표현에 대한 VQA 모델 강인성을 향상시킬 수 있는가?
• RQ2 데이터 증강을 적용한 표준 훈련 대비 ConCAT의 정확도와 재구성 질문에 대한 공감도는 어떻게 비교되는가?
• RQ3 번갈아 최적화 스케줄이 둘 다의 손실을 동시에 최적화하는 것보다 더 나은 표현 학습을 이끌어내는가?
• RQ4 기존 방법들과 비교해 본다면, 이 방법은 VQA-Rephrasings 벤치마크에서 성능 향상 정도가 어느 정도인가?
• RQ5 제안된 방법은 표준 VQA 2.0에서 높은 정확도를 유지하면서도 언어적 변형에 대한 강인성을 향상시킬 수 있는가?

주요 결과

• 다양한 데이터 증강 전략에서 ConCAT은 존재하는 방법들보다 VQA-Rephrasings 데이터셋에서 더 높은 공감도 점수를 달성한다.
• ConCAT로 훈련된 모델는 기준 방법들 대비 VQA 2.0 벤치마크에서 개선된 VQA 정확도를 보인다.
• 대비 손실과 교차엔트로피 손실을 번갈아 최적화하는 방식이 동시에 최적화하거나 표준 훈련보다 더 나은 성능을 낸다.
• 대비 손실은 질문의 언어적 변형에 대해 불변인 표현을 효과적으로 유도한다.
• 이 방법은 답변 분류를 위한 강력한 분류 능력을 유지하면서도 다의어 표현에 대한 강인성을 향상시킨다.
• 결과적으로 훈련 스케줄이 증강된 데이터를 효과적으로 활용해 강인한 VQA를 달성하는 데 핵심적인 요소임을 입증한다.