[논문 리뷰] Enabling Multimodal Generation on CLIP via Vision-Language Knowledge Distillation

Wenliang Dai, Lu Hou외 4명|arXiv (Cornell University)|2022. 03. 12.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 비전-언어 지식 정복(VLKD)을 제안하며, CLIP의 다중모odal 생성 기능을 위해 사전 훈련된 BART 언어 모델로부터 CLIP의 비전-텍스트 공간으로 지식을 정복하는 데이터 및 계산 효율적인 방법을 제공한다. 이 방법은 미세조정 없이도 SOTA 수준의 제로샷 성능을 달성한다. VQAv2에서 44.5%의 정확도와 COCO 캡션에서 84.6 CIDEr를 기록하며, BART의 원본 언어 이해 및 생성 능력을 유지한다.

ABSTRACT

The recent large-scale vision-language pre-training (VLP) of dual-stream architectures (e.g., CLIP) with a tremendous amount of image-text pair data, has shown its superiority on various multimodal alignment tasks. Despite its success, the resulting models are not capable of multimodal generative tasks due to the weak text encoder. To tackle this problem, we propose to augment the dual-stream VLP model with a textual pre-trained language model (PLM) via vision-language knowledge distillation (VLKD), enabling the capability for multimodal generation. VLKD is pretty data- and computation-efficient compared to the pre-training from scratch. Experimental results show that the resulting model has strong zero-shot performance on multimodal generation tasks, such as open-ended visual question answering and image captioning. For example, it achieves 44.5% zero-shot accuracy on the VQAv2 dataset, surpassing the previous state-of-the-art zero-shot model with $7 imes$ fewer parameters. Furthermore, the original textual language understanding and generation ability of the PLM is maintained after VLKD, which makes our model versatile for both multimodal and unimodal tasks.

연구 동기 및 목표

• 이중 스트림 VLP 모델인 CLIP의 한계를 해결하기 위해, 약한 텍스트 인코더로 인해 생성 기능이 부족한 점을 보완하기 위해.
• 미세조정 없이도 CLIP이 제로샷 다중모달 생성 작업(예: 시각적 질의 응답 및 이미지 캡션 생성)을 수행할 수 있도록 하기 위해.
• 정복 후 사전 훈련된 언어 모델(BART)의 원본 언어 이해 및 생성 성능을 유지하기 위해.
• 사전 훈련에서부터 시작하는 것과 비교해 데이터 및 계산 효율성이 높은 방법을 개발하기 위해.
• 지식 정복을 통해 CLIP의 다중모달 이해 능력을 강력한 PLM에 효과적으로 전달하면서도 단일모달 능력을 유지할 수 있음을 입증하기 위해.

제안 방법

• 정복 중에 CLIP의 비전 및 텍스트 인코더를 동결하여 사전 훈련된 다중모달 표현을 유지한다.
• 대조 학습을 통해 BART 인코더를 CLIP의 통합 다중모달 임베딩 공간에 정렬함으로써 다중모달 이해 능력을 향상시킨다.
• 이미지 조건부 언어 모델링 손실을 적용하여 BART의 인코더와 디코더를 생성 작업에 연결한다.
• 변동 길이 마스크를 사용한 마스킹 언어 모델링 목표를 통해 시각 입력에서 일관된 캡션을 생성할 수 있도록 훈련한다.
• 계산 비용을 줄이기 위해 소량의 이미지-텍스트 쌍(예: 100만 또는 300만)을 사용해 지식 정복을 수행한다.
• 추론 시 CLIP의 원래 텍스트 인코더를 제거하고, 다중모달 및 단일모달 작업 모두에 대해 정복된 BART를 사용한다.

실험 결과

연구 질문

• RQ1 미세조정 없이도 지식 정복이 CLIP에 다중모달 생성 능력을 효과적으로 전달할 수 있는가?
• RQ2 다중모달 생성 벤치마크에서 정복된 모델의 성능이 최신 제로샷 모델과 비교해 어떻게 되는가?
• RQ3 정복 후 BART의 원본 언어 이해 및 생성 능력이 어느 정도 유지되는가?
• RQ4 다양한 정복 목표(예: TTDM, ITCL)가 모델 성능에 어떤 영향을 미치는가?
• RQ5 정복 데이터셋의 크기 및 마스크된 토큰 수에 따라 이 방법의 민감도는 어떠한가?

주요 결과

• VLKD 모델은 VQAv2 데이터셋에서 44.5%의 제로샷 정확도를 달성했으며, 이는 이전 SOTA 제로샷 모델을 크게 앞서며, 파rameter 수가 7배 적다.
• COCO 이미지 캡션 벤치마크에서 모델은 제로샷 평가에서 84.6 CIDEr를 기록했으며, 미세조정 없이도 강력한 생성 능력을 보였다.
• GLUE 벤치마크에서 모델은 원본 BART와 거의 동일한 성능을 유지했으며, 이는 자연어 이해 능력의 최소한의 저하를 의미한다.
• 절단 실험 결과, TTDM 및 ITCL 정복 목표 모두가 필수적임을 확인했으며, 둘 다 제거할 경우 VQAv2 정확도가 14.5점, CIDEr가 13.5점 감소했다.
• 정복 데이터셋을 10만 개로 줄일 경우 성능이 급격히 떨어지며, 효과적인 지식 전달을 위해 충분한 데이터가 필수적임을 시사한다.
• 정복 중에 CLIP의 가중치를 해동할 경우 성능이 급격히 저하되며(VQAv2에서 31.7%), 이는 동결이 사전 훈련된 다중모달 공간을 유지하는 데 중요함을 확인한다.