[論文レビュー] Multimodal Contrastive Learning with LIMoE: the Language-Image Mixture of Experts

Basil Mustafa, Carlos Riquelme+3 more|arXiv (Cornell University)|Jun 6, 2022

Multimodal Machine Learning Applications被引用数 72

ひとこと要約

LIMoE は、単一の疎なエキスパート混合型 Transformer バックボーンを訓練し、 contrastive loss で multimodal（画像とテキスト）表現を学習し、dense ベースラインと比較して高効率なスケーリングと強力なゼロショット ImageNet パフォーマンスを達成します。

ABSTRACT

Large sparsely-activated models have obtained excellent performance in multiple domains. However, such models are typically trained on a single modality at a time. We present the Language-Image MoE, LIMoE, a sparse mixture of experts model capable of multimodal learning. LIMoE accepts both images and text simultaneously, while being trained using a contrastive loss. MoEs are a natural fit for a multimodal backbone, since expert layers can learn an appropriate partitioning of modalities. However, new challenges arise; in particular, training stability and balanced expert utilization, for which we propose an entropy-based regularization scheme. Across multiple scales, we demonstrate remarkable performance improvement over dense models of equivalent computational cost. LIMoE-L/16 trained comparably to CLIP-L/14 achieves 78.6% zero-shot ImageNet accuracy (vs. 76.2%), and when further scaled to H/14 (with additional data) it achieves 84.1%, comparable to state-of-the-art methods which use larger custom per-modality backbones and pre-training schemes. We analyse the quantitative and qualitative behavior of LIMoE, and demonstrate phenomena such as differing treatment of the modalities and the organic emergence of modality-specific experts.

研究の動機と目的

• 1 このモデルで画像とテキストの両方を処理できる、疎なエキスパート混合バックボーンの動機づけと開発。
• 2 導入・Entropy-based regularizers によりマルチモーダル MoE ルーティングを安定化させ、エキスパート崩壊とモダリティの不均衡を防ぐ。
• 3 LIMoE がモデルサイズとデータのスケールに応じて拡張され、FLOP マッチした dense ベースラインをゼロショットとリトリーブタスクで上回ることを示す。
• 4 モダリティがモデルでどのように扱われるかの定性的・定量的分析と、モダリティ特異的 vs マルチモーダルエキスパートの出現を示す。

提案手法

• 画像とテキスト両方のモダリティに対してモダリティ特異的な入力投影と共有エンコーダを備えた単一の Transformer ベースのバックボーンを使用。
• ゲーティング・ルーターを介して各トークンが E 個のエキスパート中 K 個により処理される疎な MoE 層を導入。
• 局所エントロピーとモダリティごとのグローバルエントロピーを用いたエントロピーベースの補助損失を適用して、ルーティングを安定化させ、多様でありつつ自信を持つエキスパート利用を促す。
• 訓練を安定化させ、ルーティング時のトークンドロップを減らすためBatch Priority Routing (BPR) を組み込む。
• 画像とテキスト表現を整合させるマルチモーダル対比損失を用いて訓練し、対比目的を計算する前にモダリティごとの線形投影を行う。
• dense ベースラインから LIMoE 系列まで、モデルサイズ（LIMoE-H/14 を含む、総パラメータ 5.6B、1トークンあたり 675M を含む）とデータに渡ってスケール実験を行う。

実験結果

リサーチクエスチョン

• RQ1 単一の疎なエキスパート混合バックボーンが、対比学習を通じて画像とテキストの整合した表現を効果的に学習できるか。
• RQ2 マルチモーダル MoE の訓練を安定化させ、モダリティの不均衡やエキスパートの崩壊を防ぐために必要な補助損失とルーティング戦略は何か。
• RQ3 ゼロショット ImageNet、リトリーブ（MS-COCO）、リニアプロービングタスクにおいて、FLOP マッチした dense ベースラインと比較してスケールを跨いでどのようにパフォーマンスを発揮するか。
• RQ4 モダリティ特異的 vs マルチモーダル専門家の挙動はどうで、層ごとにルーティングがどう進化するか。
• RQ5 データ、モデルサイズ、訓練目的を大規模設定へ拡張した場合、LIMoE が性能を維持するか。

主な発見

• LIMoE は強力なゼロショット ImageNet 性能を達成し、LIMoE-L/16 で 78.6%（CLIP-L/14 の 76.2% に対して）、LIMoE-H/14 で 84.1% を達成。より大きなモダリティ特化バックボーンを使用する最先端手法と同等。
• スケールを跨いで、同等の dense モデルに対してゼロショット精度が相対的に 7% ~ 13% 向上し、dense ベースラインに対してコスト性能の前線を支配。
• 大規模 LIMoE（5.6B パラメータ、1トークンあたり 675M 活性）を、3.6B 組み合わされた画像-テキスト例（最大の実行には JFT-4B データを追加）で訓練すると、モダリティ特化前処理なしで競争力のあるゼロショット ImageNet パフォーマンスを示す。
• エントロピーベースの正則化（局所エントロピー損失とグローバルエントロピー損失）はマルチモーダルルーティングの課題に対処し、安定した訓練と多様でありつつ自信あるエキスパート利用を可能にする。Batch Priority Routing (BPR) は訓練をさらに安定させ、ルーティング成功率を向上。
• 定性的・定量的分析は、モダリティ特異的およびマルチモーダルなエキスパートの出現を示し、いくつかのエキスパートは低レベル特徴に特化し、他は高レベルの意味論に特化する。ルーティングの挙動は層とモダリティによって異なることがある。