[論文レビュー] AltCLIP: Altering the Language Encoder in CLIP for Extended Language Capabilities

Zhongzhi Chen, Guang Liu+4 more|arXiv (Cornell University)|Nov 12, 2022

Natural Language Processing Techniques被引用数 10

ひとこと要約

本稿では、CLIPの能力を英語/中国語の二国語および多言語マルチモodal表現学習に拡張するための二段階手法であるAltCLIPを提案する。テキストエンコーダーをXLM-Rに置き換え、限定的なテキスト-画像ペアを用いた知識蒸留と対照学習を実施する。この手法は、最小限のデータおよび計算コストで中国語の複数のゼロショット画像分類およびリtrievalベンチマークで最先端の性能を達成する一方で、英語タスクの性能を維持する。

ABSTRACT

In this work, we present a conceptually simple and effective method to train a strong bilingual/multilingual multimodal representation model. Starting from the pre-trained multimodal representation model CLIP released by OpenAI, we altered its text encoder with a pre-trained multilingual text encoder XLM-R, and aligned both languages and image representations by a two-stage training schema consisting of teacher learning and contrastive learning. We validate our method through evaluations of a wide range of tasks. We set new state-of-the-art performances on a bunch of tasks including ImageNet-CN, Flicker30k-CN, COCO-CN and XTD. Further, we obtain very close performances with CLIP on almost all tasks, suggesting that one can simply alter the text encoder in CLIP for extended capabilities such as multilingual understanding. Our models and code are available at https://github.com/FlagAI-Open/FlagAI.

研究の動機と目的

• 膨大な多言語テキスト-画像ペアを必要とせずに、CLIPのゼロショット一般化能力を多言語および二国語設定に拡張すること。
• 英語以外の言語（中国語など）の低リソース環境においても、ビジョン・ランゲージタスクにおけるクロスリンガル転送性能を向上させること。
• 中国語やその他の言語のサポートを追加しても、英語ベンチマークでの高い性能を維持すること。
• 多言語マルチモダル事前学習において、知識蒸留と対照的ファインチューニングを組み合わせることの有効性を検証すること。
• 高品質な人間による翻訳データが、低リソース言語におけるゼロショット性能を向上させるかどうかを検討すること。

提案手法

• CLIPの元のテキストエンコーダーを、多様な言語で事前学習された多言語言語モデルXLM-Rに置き換える。
• 二段階トレーニングフレームワークを採用する：第一段階では、モノリンガルおよび並列言語データ（英語-英語および英語-中国語ペアを含む）を用いて、CLIPのテキストエンコーダーから新しいXLM-Rベースのエンコーダーへの知識蒸留を実施する。
• 第二段階では、選別された英語および中国語のテキスト-画像ペアの少量のセットを用いて対照学習によりファインチューニングを行い、視覚的および言語的表現の整合性を高める。
• 知識蒸留段階で機械翻訳された並列データと人間が校正した並列データを併用し、表現品質を向上させる。
• 同様の二段階手法を用いて、9言語をサポートする多言語版AltCLIP M9を訓練する。
• AltCLIPのテキストエンコーダーを用いてテキスト-画像拡散モデル（Stable Diffusion）をファインチューニングし、生成におけるクロスリンガル整合性を評価する。

実験結果

リサーチクエスチョン

• RQ1 CLIPのテキストエンコーダーからXLM-Rのような多言語エンコーダーへの知識蒸留は、中国語のような低リソース言語へのビジョン・ランゲージ理解の転送を効果的に可能にするか？
• RQ2 知識蒸留段階で機械翻訳された並列データと人間が校正した並列データを併用することで、中国語ベンチマークにおけるゼロショット性能が顕著に向上するか？
• RQ3 二段階トレーニング（蒸留 + 対照的ファインチューニング）は、多言語リtrievalおよび画像分類タスクの性能をどの程度向上させるか？
• RQ4 数千万語のテキストトークンと200万件のテキスト-画像ペアのみでトレーニングされたモデルが、数億ペアで学習されたモデルを上回る中国語ビジョン・ランゲージタスクにおける最先端の性能を達成できるか？
• RQ5 多言語プロンプトの文化的なニュアンスが、AltCLIP M9のような多言語テキストエンコーダーを用いた画像生成にどのように影響を与えるか？

主な発見

• AltCLIPは、200万件のテキスト-画像ペアと数千万語のテキストトークンのみを用いても、ImageNet-CN、Flicker30k-CN、COCO-CN、XTDの各ベンチマークでゼロショット性能において最先端を記録し、先行手法を上回る。
• ImageNetで53.8%のゼロショット精度を達成しており、CLIPの55.7%に非常に近い水準であり、多言語適応後も英語能力を強く保持していることが示された。
• 蒸留段階で英語-英語の並列データを除外すると、ImageNet-英語の精度は15.47%に低下し、クロスリンガル整合性の維持にその重要性が示された。
• 蒸留段階に人間が校正した翻訳データを組み込むことで、ImageNet-CNの精度が顕著に向上した。これは、データの質と多様性が表現学習を強化することを示している。
• AltCLIPのテキストエンコーダーを用いてファインチューニングされたAltDiffusionは、英語および中国語のプロンプトから高品質な画像を生成でき、翻訳されたプロンプトに対しても類似した出力を示しており、効果的なクロスリンガル整合性が確認された。
• AltCLIP M9は、9言語をカバーする多言語XTDベンチマークでゼロショット性能において最先端を記録し、多言語間での強力な一般化能力を示した。