[논문 리뷰] Multimodal Adaptive Distillation for Leveraging Unimodal Encoders for Vision-Language Tasks

Zhecan Wang, Noel Codella외 9명|arXiv (Cornell University)|2022. 04. 22.

Multimodal Machine Learning Applications인용 수 8

한 줄 요약

이 논문은 대규모 사전 훈련된 단모달 비전 및 텍스트 인코더(예: CLIP)로부터 시각-언어 모델로 지식을 전이하는 데 목적이 있는 Multimodal Adaptive Distillation(MAD)을 제안한다. 재훈련 없이도 작동하며, 토큰 선택 모듈과 상호주의성 정렬을 통해 모odal별 지식을 적응적으로 디스틸레이션한다. 저자들은 VCR, SNLI-VE, VQA에서 저샷, 도메인 이탈, 완전한 지도 학습 설정 모두에서 최신 기술 수준(SOTA) 성능을 달성하였으며, CLIP-ViL p를 포함한 이전 방법들을 능가한다.

ABSTRACT

Cross-modal encoders for vision-language (VL) tasks are often pretrained with carefully curated vision-language datasets. While these datasets reach an order of 10 million samples, the labor cost is prohibitive to scale further. Conversely, unimodal encoders are pretrained with simpler annotations that are less cost-prohibitive, achieving scales of hundreds of millions to billions. As a result, unimodal encoders have achieved state-of-art (SOTA) on many downstream tasks. However, challenges remain when applying to VL tasks. The pretraining data is not optimal for cross-modal architectures and requires heavy computational resources. In addition, unimodal architectures lack cross-modal interactions that have demonstrated significant benefits for VL tasks. Therefore, how to best leverage pretrained unimodal encoders for VL tasks is still an area of active research. In this work, we propose a method to leverage unimodal vision and text encoders for VL tasks that augment existing VL approaches while conserving computational complexity. Specifically, we propose Multimodal Adaptive Distillation (MAD), which adaptively distills useful knowledge from pretrained encoders to cross-modal VL encoders. Second, to better capture nuanced impacts on VL task performance, we introduce an evaluation protocol that includes Visual Commonsense Reasoning (VCR), Visual Entailment (SNLI-VE), and Visual Question Answering (VQA), across a variety of data constraints and conditions of domain shift. Experiments demonstrate that MAD leads to consistent gains in the low-shot, domain-shifted, and fully-supervised conditions on VCR, SNLI-VE, and VQA, achieving SOTA performance on VCR compared to other single models pretrained with image-text data. Finally, MAD outperforms concurrent works utilizing pretrained vision encoder from CLIP. Code will be made available.

연구 동기 및 목표

• 대규모 고품질 단모달 인코더(예: CLIP)를 재훈련 없이도 시각-언어 작업에 효과적으로 활용하는 데 도전하는 것.
• 지식 디스틸레이션을 통해 저샷, 도메인 이탈, 완전한 지도 학습 조건에서 시각-언어 모델의 성능을 향상시키는 것.
• 계산 효율성을 유지하면서도 다중모달 추론 능력을 향상시키고 모델의 단순한 피처에 의존하는 경향을 줄이는 방법을 개발하는 것.
• 제로샷 및 피샷 설정을 포함한 다양한 시각-언어 작업과 데이터 제약 조건에서 디스틸레이션의 효과를 평가하는 것.

제안 방법

• MAD는 사전 훈련된 단모달 비전 및 텍스트 인코더(예: CLIP-V, CLIP-T)에서 학생 시각-언어 모델로 적응적인 디스틸레이션을 수행한다.
• 토큰 선택 모듈은 학생 모델 내에서 의미 있는 토큰을 식별하고 강조함으로써 'is'나 'the'와 같은 의미 없는 단어에 대한 주의를 줄인다.
• 상호주의성 메커니즘은 학생의 모달 표현을 교사 인코더의 표현과 정렬함으로써 다중모달 특징 정렬을 향상시킨다.
• 지식 디스틸레이션은 다중 작업에서 교사의 출력 분포를 모방하도록 유도하는 대비 손실을 통해 수행된다.
• 이 방법은 모델에 종속되지 않으며 VL-BERT, UNITER, VILLA와 같은 다양한 학생 아키텍처에 적용 가능하다.
• 디스틸레이션은 테스트 단계에서만 적용되며, 추론 효율성을 유지하고 전체 재훈련을 방지한다.

실험 결과

연구 질문

• RQ1 CLIP와 같은 사전 훈련된 단모달 인코더를 전체 재훈련 없이도 시각-언어 작업에 효과적으로 활용할 수 있는가?
• RQ2 적응형 디스틸레이션이 저샷, 도메인 이탈, 완전한 지도 학습 설정에서 성능 향상에 기여하는가?
• RQ3 디스틸레이션은 시각-언어 모델이 표면적인 텍스트 단서에 의존하는 경향을 줄일 수 있는가?
• RQ4 정확성과 강건성 측면에서 MAD는 CLIP-ViL p와 같은 동시 논문의 방법과 비교해 어떻게 성능을 냈는가?

주요 결과

• MAD는 VCR 벤치마크에서 단일 모델 기반으로 사전 훈련된 이미지-텍스트 데이터를 사용한 다른 방법들보다 최신 기술 수준 성능을 달성하였다.
• SNLI-VE에서 100% 훈련 데이터 설정에서 기준 모델 대비 최대 3.3% 향상된 정확도를 기록하였으며, 모든 데이터 제약 조건에서 일관된 성능 향상을 보였다.
• 저샷 설정(0.3% 데이터)에서 VQA 성능이 테스트 기반 모델 대비 1.7% 향상되었고, CLIP-ViL p 대비 1.2% 향상되었다.
• MAD는 비전 모달의 중요도를 높임으로써 모달 불균형을 줄였으며, 비전과 텍스트 모달의 주의 분포 간 격차를 좁혔다.
• 정성적 분석 결과, MAD는 의미 없는 단어에 대한 주의를 줄이고 'sending'이나 'telegram'과 같은 의미 있는 어휘에 더 집중하는 경향을 보였다.
• MAD를 사용한 앙상블 모델은 VQA 검증 세트에서 73.93%의 정확도를 기록하여 CLIP-ViL p의 73.82%를 초월하였다.