[論文レビュー] VidLanKD: Improving Language Understanding via Video-Distilled Knowledge Transfer

Zineng Tang, Jaemin Cho+2 more|arXiv (Cornell University)|Jul 6, 2021

Multimodal Machine Learning Applications被引用数 10

ひとこと要約

VidLanKDは、テキストのみのデータを用いて、ビデオ・テキスト事前学習済みの教師モデルから学生言語モデルへマルチモodal知識を転送する動画・言語知識蒸留フレームワークを提案する。大規模なビデオデータセットと、NST や CRD といった新しい蒸留目的を活用することで、テキストのみまたはボケニゼーションベースのモデルを上回る言語理解、物理的推論、時間的推論の能力を向上させる。

ABSTRACT

Since visual perception can give rich information beyond text descriptions for world understanding, there has been increasing interest in leveraging visual grounding for language learning. Recently, vokenization (Tan and Bansal, 2020) has attracted attention by using the predictions of a text-to-image retrieval model as labels for language model supervision. Despite its success, the method suffers from approximation error of using finite image labels and the lack of vocabulary diversity of a small image-text dataset. To overcome these limitations, we present VidLanKD, a video-language knowledge distillation method for improving language understanding. We train a multi-modal teacher model on a video-text dataset, and then transfer its knowledge to a student language model with a text dataset. To avoid approximation error, we propose to use different knowledge distillation objectives. In addition, the use of a large-scale video-text dataset helps learn diverse and richer vocabularies. In our experiments, VidLanKD achieves consistent improvements over text-only language models and vokenization models, on several downstream language understanding tasks including GLUE, SQuAD, and SWAG. We also demonstrate the improved world knowledge, physical reasoning, and temporal reasoning capabilities of our model by evaluating on the GLUE-diagnostics, PIQA, and TRACIE datasets. Lastly, we present comprehensive ablation studies as well as visualizations of the learned text-to-video grounding results of our teacher and student language models. Our code and models are available at: https://github.com/zinengtang/VidLanKD

研究の動機と目的

• 小さな画像・テキストデータセットに依存するため、近似誤差と語彙の多様性の制限に苦しむボケニゼーションの限界を解消すること。
• 大規模なビデオ・テキストデータから、より豊富で多様な世界知識（特に物理的・時間的常識）を転送することで、言語理解を向上させること。
• 視覚入力が直接ないテキスト専用の学生モデルが、マルチモーダルの意味的根拠付けを学習できる知識蒸留手法を開発すること。
• GLUE、SQuAD、SWAG、および PIQA や TRACIE のような特化した推論ベンチマークを含む、下流の NLU タスクで性能向上を実証すること。
• アブレーションスタディを通じて、異なる蒸留目的や構成要素の有効性を分析すること。

提案手法

• 対照的学習とマスキング言語モデリングを用いて、HowTo100M を用いてマルチモーダル教師モデルを事前学習し、ビデオ・テキストの統合表現を学習する。
• 教師モデルを固定し、テキストのみのデータセット上で知識蒸留を用いてその知識を学生言語モデルに転送する。
• ボケン割り当てによる近似誤差を回避するため、ニューロン選択性転送（NST）と対照的表現蒸留（CRD）を蒸留目的として使用する。
• 学生モデルを、テキスト入力に対して教師モデルの文脈に依存したテキスト表現を再現するように訓練することで、画像を一切見ないままマルチモーダルの意味的根拠付けを学習可能にする。
• HowTo100M ビデオデータに含まれる大規模かつ多様な語彙、および物理的・時間的常識を活用し、学生モデルの世界知識を豊かにする。
• 学生モデルのテキストクエリに対する検索性能を評価することで、学習されたテキスト・ビデオの意味的根拠付けを可視化する。

実験結果

リサーチクエスチョン

• RQ1 ビデオ・言語モデルからの知識蒸留は、テキストのみの事前学習を上回る言語理解を実現できるか？
• RQ2 画像データではなくビデオデータを用いることで、言語モデルにおける物理的・時間的常識知識の捉え方が向上するか？
• RQ3 視覚的訓練を受けていないテキスト専用の学生モデルが、ビデオ・言語教師モデルからの蒸留によって効果的なマルチモーダルの意味的根拠付けを学習できるか？
• RQ4 NST や CRD などの異なる蒸留目的は、ビデオからテキストへの知識転送においてどのように比較されるか？
• RQ5 ビデオベースの蒸留は、PIQA や TRACIE のような推論ベンチマークでどの程度性能向上をもたらすか？

主な発見

• VidLanKD は、GLUE、SQuAD、SWAG ベンチマークで最先端の性能を達成し、テキストのみの BERT やボケニゼーションベースのモデルを上回った。
• GLUE-diagnostics データセットでは、知識カテゴリーで 4.6 ポints の向上を示し、外部の世界知識と常識の向上を裏付けた。
• PIQA で 3.1 ポイント、TRACIE で 3.3 ポイントの向上を達成し、物理的および時間的推論能力の向上を示した。
• テキストからビデオへの検索結果から、視覚的訓練を受けていないにもかかわらず、学生モデルが意味的に整合したビデオクリップを検索できることを確認し、学習された根拠付け能力を裏付けた。
• アブレーションスタディにより、ビデオベースの事前学習と CRD/NST 蒸留目的が性能向上に不可欠であることが確認された。
• 本手法により、大規模なビデオデータセット HowTo100M から豊富で多様な世界知識が効果的に転送され、言語的、物理的、時間的推論能力が向上した。