[논문 리뷰] Learning from Lexical Perturbations for Consistent Visual Question Answering

Spencer Whitehead, Hui Wu외 4명|arXiv (Cornell University)|2020. 11. 26.

Multimodal Machine Learning Applications참고 문헌 55인용 수 10

한 줄 요약

이 논문은 시각적 질문 응답(VQA)를 위한 새로운 일致성 정규화 방법을 제안하며, 제어된 어휘적 변형을 활용하여 모델의 강건성을 향상시킨다. 동일한 의미를 갖는 최소한의 언어적 변화(예: 동의어, 어색한 표현, 반대어 등)를 가진 질문 쌍을 사용하여 훈련함으로써, 모듈 가중치 일致성 손실를 통해 답변과 중간 추론 단계의 유사성을 강제한다. 이는 다양한 유형의 변형에 걸쳐 추론의 일관성과 일반화 능력을 크게 향상시킨다.

ABSTRACT

Existing Visual Question Answering (VQA) models are often fragile and sensitive to input variations. In this paper, we propose a novel approach to address this issue based on modular networks, which creates two questions related by linguistic perturbations and regularizes the visual reasoning process between them to be consistent during training. We show that our framework markedly improves consistency and generalization ability, demonstrating the value of controlled linguistic perturbations as a useful and currently underutilized training and regularization tool for VQA models. We also present VQA Perturbed Pairings (VQA P2), a new, low-cost benchmark and augmentation pipeline to create controllable linguistic variations of VQA questions. Our benchmark uniquely draws from large-scale linguistic resources, avoiding human annotation effort while maintaining data quality compared to generative approaches. We benchmark existing VQA models using VQA P2 and provide robustness analysis on each type of linguistic variation.

연구 동기 및 목표

• 소위 동의어 교체나 반대어 변화와 같은 미세한 언어적 변화에 취약한 기존 VQA 모델의 문제를 해결한다.
• 의미적으로 관련된 질문들 사이에서 일관된 추론 단계를 강제하여 모델의 일반화 능력과 강건성을 향상시킨다.
• 인간의 레이블링 없이 대규모 언어 자원을 활용한 자동화된 고품질 데이터 증강 파이프라인을 개발한다.
• 통제된 언어적 변형에 대한 모델 강건성의 체계적 평가를 위해 새로운 벤치마크인 VQA P2를 구축한다.
• 최종 답변뿐 아니라 중간 추론 단계의 일관성 강제가 더 신뢰할 수 있고 해석 가능한 VQA 모델을 만드는 데 기여한다.

제안 방법

• 시각적 추론을 객체 탐지, 공간적 추론 등의 모듈러 연산 시퀀스로 명시적으로 표현하는 신경 모듈러 네트워크(NMNs)를 사용한다.
• 대규모 텍스트 코퍼스에서 규칙 기반 어휘 교체를 사용하여 의미를 유지하면서도 분포적 현실성을 갖춘 질문 쌍을 생성한다.
• 각 추론 단계에서 원본 질문과 변형된 질문의 모듈 가중치 분포 간 L2 차이를 최소화하는 새로운 정규화 손실인 Q3R를 도입한다.
• 표준 VQA 손실과 Q3R 일치성 손실을 동시에 사용하여 종합적으로 훈련함으로써 의미적으로 유사한 질문들에 대해 동일한 추론 경로를 유도한다.
• 공개된 언어 자원(예: WordNet, 동의어 데이터베이스 등)을 활용하여 인간 레이블 없이 다양한 고품질의 변형을 자동 생성한다.
• VQA v2에서 유도된 36.2만 개의 변형된 질문 쌍을 포함하는 VQA P2를 벤치마크 데이터셋으로 설계하여, 동의어, 어색한 표현, 반대어 유형으로 분류하여 진단 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 의미적으로 유사하지만 언어적으로 수정된 질문을 제시했을 때 기존 VQA 모델가 중간 추론 단계의 일관성을 얼마나 잘 유지하는가?
• RQ2 최종 답변뿐 아니라 중간 추론 단계의 일관성 강제가 어휘적 변형에 대한 모델의 강건성 향상에 기여하는가?
• RQ3 대규모 텍스트 코퍼스에서 규칙 기반 어휘 교체를 활용한 자동 데이터 증강 전략이 인간 레이블링 또는 생성 기반 방법보다 얼마나 효과적인가?
• RQ4 제안된 Q3R 정규화 방법이 다양한 어휘적 변형 유형에서 일관성과 정확도 측면에서 측정 가능한 향상을 이끌어내는가?
• RQ5 이 프레임워크는 NMN 외에도 실행 가능한 추론 프로그램에 의존하는 다른 해석 가능한 모듈러 VQA 아키텍처로 일반화 가능한가?

주요 결과

• Q3R 정규화 방법은 원본 질문과 변형된 질문 간 모듈 가중치 분포의 평균 노름 차이를 93% 감소시켰다. 즉, 7.4×10⁻³에서 0.5×10⁻³으로 감소하여 추론 단계의 강력한 일관성을 보였다.
• VQA P2 벤치마크에서 Q3R로 정규화된 모델는 기반 모델 대비 반대어 유형의 변형에서 일관성 점수(CS)를 9.4%p 향상시키고, 동의어 쌍에서는 최대 10.2%p 향상시켰다.
• Q3R를 적용한 StackNMN은 반대어 쌍에서 CS 84.7을 기록하여 기반 모델 대비 10.6점의 상승을 보이며, 특히 의미가 반대되는 질문에 대한 강건성 향상이 뚜렷하게 입증되었다.
• 전반적인 VQA v2 검증 정확도에서는 소량이지만 일관된 향상이 관찰되었으며, 다양한 아키텍처에서 최대 1.6점의 향상이 이루어져 보다 넓은 일반화 이점을 보였다.
• 인간 레이블링된 재구성 질문(VQA-Rephrasings) 평가에서 Q3R 정규화된 XNM 모델은 정확도에서 +0.7 향상, CS에서 +0.4 향상하여 실제 세계의 재구성 질문에 대한 전이 가능성도 입증했다.
• Q3R 정규화된 모델의 시각적 주의 맵은 더 직관적이고 안정적인 주의 패턴을 보였으며, 이는 향상된 해석 가능성과 추론 정확성의 가능성을 시사한다.