[論文レビュー] Enabling Multimodal Generation on CLIP via Vision-Language Knowledge Distillation

Wenliang Dai, Lu Hou+4 more|arXiv (Cornell University)|Mar 12, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、事前学習済みのBART言語モデルからCLIPの視覚・テキスト空間へ知識を蒸留することで、データおよび計算コストに優れた方法であるビジョン・ランゲージ知識蒸留（VLKD）を提案する。この手法により、微調整なしにCLIPをマルチモーダル生成タスクに活用可能にし、VQAv2で44.5%のゼロショット精度、COCOキャプションで84.6のCIDErを達成する。同時に、BARTの元の言語理解および生成能力も保持する。

ABSTRACT

The recent large-scale vision-language pre-training (VLP) of dual-stream architectures (e.g., CLIP) with a tremendous amount of image-text pair data, has shown its superiority on various multimodal alignment tasks. Despite its success, the resulting models are not capable of multimodal generative tasks due to the weak text encoder. To tackle this problem, we propose to augment the dual-stream VLP model with a textual pre-trained language model (PLM) via vision-language knowledge distillation (VLKD), enabling the capability for multimodal generation. VLKD is pretty data- and computation-efficient compared to the pre-training from scratch. Experimental results show that the resulting model has strong zero-shot performance on multimodal generation tasks, such as open-ended visual question answering and image captioning. For example, it achieves 44.5% zero-shot accuracy on the VQAv2 dataset, surpassing the previous state-of-the-art zero-shot model with $7 imes$ fewer parameters. Furthermore, the original textual language understanding and generation ability of the PLM is maintained after VLKD, which makes our model versatile for both multimodal and unimodal tasks.

研究の動機と目的

• 双方向ストリームVLPモデル（例：CLIP）に内在する、弱いテキストエンコーダーによる生成能力の欠如という制限を解消すること。
• 微調整なしに、CLIPが視覚的質問応答や画像キャプションといったゼロショットマルチモーダル生成タスクを実行できるようにすること。
• 知識蒸留後も、事前学習済み言語モデル（BART）の元の言語理解および生成性能を維持すること。
• 事前学習から再学習するのと比較して、データおよび計算コストに優れた手法を開発すること。
• 知識蒸留が、CLIPのマルチモーダル理解能力を強力なPLM（大規模言語モデル）に効果的に転送しつつ、単一モーダル能力を保持できることを示すこと。

提案手法

• 知識蒸留中に、CLIPの視覚およびテキストエンコーダーを固定し、事前学習済みのマルチモーダル表現を保持する。
• 対照学習を用いてBARTエンコーダーをCLIPの統合マルチモーダル埋め込み空間にアライメントさせ、マルチモーダル理解を可能にする。
• 画像条件付き言語モデリング損失を適用し、BARTのエンコーダーとデコーダーを生成タスクに統合する。
• 可変長マスクを用いたマスク言語モデリング目的関数を用い、視覚的入力から一貫性のあるキャプションを生成できるように学習する。
• 計算コストを低減するために、画像・テキストペアの小さなサブセット（例：100万または300万件）を用いて知識蒸留を実施する。
• 推論時、CLIPの元のテキストエンコーダーを廃止し、マルチモーダルおよび単一モーダルタスクの両方で蒸留済みのBARTに置き換える。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留は、微調整なしにCLIPにマルチモーダル生成能力を効果的に転送できるか？
• RQ2 蒸留済みモデルの性能は、マルチモーダル生成ベンチマークで最先端のゼロショットモデルと比較してどの程度か？
• RQ3 知識蒸留後、BARTの元の言語理解および生成能力はどの程度保持されているか？
• RQ4 異なる知識蒸留目的関数（例：TTDM、ITCL）の性能への影響は何か？
• RQ5 本手法は、蒸留データセットのサイズやマスクトークン数の変更に対してどの程度感受性を示すか？

主な発見

• VLKDモデルは、VQAv2データセットで44.5%のゼロショット精度を達成し、前回の最先端ゼロショットモデルを大きく上回り、パラメータ数が7倍も少ない。
• COCO画像キャプションベンチマークでは、ゼロショット評価で84.6のCIDErを達成し、微調整なしに強力な生成能力を示している。
• GLUEベンチマークでは、元のBARTとほぼ同一の性能を維持しており、自然言語理解能力の低下が最小限であることが示された。
• アブレーションスタディの結果、TTDMおよびITCLの両方の蒸留目的関数が不可欠であることが判明。両方を削除すると、VQAv2の精度が14.5ポイント、CIDErが13.5ポイント低下した。
• 蒸留データセットを10万件に縮小すると性能が急激に低下し、効果的な知識転送には十分なデータ量が不可欠であることが示された。
• 蒸留中にCLIPの重みを解放すると、性能が著しく低下（VQAv2で31.7%）し、固定することで事前学習済みマルチモーダル空間が保持されていることが確認された。