[논문 리뷰] VidLanKD: Improving Language Understanding via Video-Distilled Knowledge Transfer

Zineng Tang, Jaemin Cho외 2명|arXiv (Cornell University)|2021. 07. 06.

Multimodal Machine Learning Applications인용 수 10

한 줄 요약

VidLanKD는 텍스트 전용 데이터를 사용하여 비디오-텍스트 사전학습된 교사 모델에서 학생 텍스트 모델로 다중모달 지식을 전달하는 비디오-언어 지식 정련 프레임워크를 제안한다. 대규모 비디오 데이터셋과 NST 및 CRD와 같은 새로운 정련 목표를 활용함으로써, 이 방법은 텍스트 전용 또는 vokenization 기반 모델을 초월하여 언어 이해, 물리적 추론, 시간적 추론 능력을 향상시킨다.

ABSTRACT

Since visual perception can give rich information beyond text descriptions for world understanding, there has been increasing interest in leveraging visual grounding for language learning. Recently, vokenization (Tan and Bansal, 2020) has attracted attention by using the predictions of a text-to-image retrieval model as labels for language model supervision. Despite its success, the method suffers from approximation error of using finite image labels and the lack of vocabulary diversity of a small image-text dataset. To overcome these limitations, we present VidLanKD, a video-language knowledge distillation method for improving language understanding. We train a multi-modal teacher model on a video-text dataset, and then transfer its knowledge to a student language model with a text dataset. To avoid approximation error, we propose to use different knowledge distillation objectives. In addition, the use of a large-scale video-text dataset helps learn diverse and richer vocabularies. In our experiments, VidLanKD achieves consistent improvements over text-only language models and vokenization models, on several downstream language understanding tasks including GLUE, SQuAD, and SWAG. We also demonstrate the improved world knowledge, physical reasoning, and temporal reasoning capabilities of our model by evaluating on the GLUE-diagnostics, PIQA, and TRACIE datasets. Lastly, we present comprehensive ablation studies as well as visualizations of the learned text-to-video grounding results of our teacher and student language models. Our code and models are available at: https://github.com/zinengtang/VidLanKD

연구 동기 및 목표

• 소규모 이미지-텍스트 데이터셋에 의존함으로써 근사 오차와 어휘 다양성의 제한으로 인해 약점이 드러나는 vokenization의 한계를 해결하기 위해.
• 대규모 비디오-텍스트 데이터로부터 더 풍부하고 다양한 세계 지식—특히 물리적 및 시간적 공통 지식—을 전달하여 언어 이해를 향상시키기 위해.
• 직접 시각적 입력 없이도 텍스트 전용 학생 모델이 다중모달 기반 지식을 학습할 수 있도록 하는 지식 정련 방법을 개발하기 위해.
• GLUE, SQuAD, SWAG 및 PIQA, TRACIE와 같은 특수 추론 벤치마크를 포함한 다운스트림 NLU 작업에서 성능 향상을 입증하기 위해.
• 다양한 정련 목표와 구성 요소의 효과를 추론 분석을 통해 분석하기 위해.

제안 방법

• 대조 학습과 마스크된 언어 모델링을 사용하여 HowTo100M에서 다중모달 교사 모델을 사전학습하여 영상-언어 표현을 공동으로 학습한다.
• 교사 모델을 고정하고, 텍스트 전용 데이터셋에서 지식 정련을 통해 그 지식을 학생 언어 모델로 전달한다.
• voken 할당에서 발생하는 근사 오차를 방지하기 위해 뉴런 선택성 전달(NST)과 대비 표현 정련(CRD)을 정련 목표로 사용한다.
• 학습된 학생 모델이 텍스트 입력에서 교사 모델의 문맥 기반 텍스트 표현을 따라하도록 학습시켜, 이미지를 보지 않고도 다중모달 기반 지식을 학습할 수 있도록 한다.
• HowTo100M 영상 데이터의 대규모, 다양한 어휘와 물리적/시간적 공통 지식을 활용하여 학생 모델의 세계 지식을 풍부하게 한다.
• 학생 모델의 텍스트 쿼리에 대한 검색 성능을 평가하여 학습된 텍스트-영상 기반 지식의 시각화를 수행한다.

실험 결과

연구 질문

• RQ1 비디오-언어 모델에서의 지식 정련이 텍스트 전용 사전학습을 초월하여 언어 이해를 향상시킬 수 있는가?
• RQ2 이미지 데이터 대비 비디오 데이터를 사용할 경우, 언어 모델이 물리적 및 시간적 공통 지식을 더 잘 포착할 수 있는가?
• RQ3 비디오-언어 교사 모델에서 정련을 통해 텍스트 전용 학생 모델이 효과적인 다중모달 기반 지식을 학습할 수 있는가?
• RQ4 비디오에서 텍스트로 지식을 전달할 때, 다양한 정련 목표(예: NST, CRD) 간의 성능 비교는 어떻게 되는가?
• RQ5 비디오 기반 정련이 PIQA 및 TRACIE와 같은 추론 벤치마크에서 성능 향상에 얼마나 기여하는가?

주요 결과

• VidLanKD는 GLUE, SQuAD, SWAG 벤치마크에서 최신 기술 수준의 성능을 달성하여, 텍스트 전용 BERT 및 vokenization 기반 모델을 모두 능가한다.
• GLUE-diagnostics 데이터셋에서 지식 카테고리에서 4.6점 향상되며, 외부 세계 지식과 공통 지식 향상 여부를 확인할 수 있다.
• PIQA에서 3.1점 향상되고 TRACIE에서 3.3점 향상되어 물리적 및 시간적 추론 능력 향상 여부를 입증한다.
• 텍스트-영상 검색 결과는 학생 모델이 시각적 훈련 없이도 의미적으로 일치하는 영상 클립을 검색할 수 있음을 보여주며, 학습된 기반 지식 능력을 확인한다.
• 제거 분석 결과 비디오 기반 사전학습과 CRD/NST 정련 목표가 성능 향상에 핵심적인 역할을 한다는 것을 확인한다.
• 이 방법은 대규모 비디오 데이터셋인 HowTo100M에서 풍부하고 다양한 세계 지식을 효과적으로 전달하여 언어적, 물리적, 시간적 추론 능력을 향상시킨다.