[論文レビュー] Alternating Gradient Descent and Mixture-of-Experts for Integrated Multimodal Perception

Hassan Akbari, Dan Kondratyuk+4 more|arXiv (Cornell University)|May 10, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本論文は、画像、動画、テキスト、音声のモデリングを1つのTransformerエンコーダーで統合するスケーラブルでモダリティに依存しない学習フレームワーク、統合マルチモーダル知覚（IMP）を紹介する。AGD（交互勾配降下法）とMoE（エキスパートの混合）を組み合わせることで、多様なタスク、モダリティ、解像度を交互に処理し、スパースなMoEエキスパートを用いることで、先行モデルの15%の計算コストでSOTAのゼロショット動画分類性能（Kinetics-400で77.0%）を達成する。

ABSTRACT

We present Integrated Multimodal Perception (IMP), a simple and scalable multimodal multi-task training and modeling approach. IMP integrates multimodal inputs including image, video, text, and audio into a single Transformer encoder with minimal modality-specific components. IMP makes use of a novel design that combines Alternating Gradient Descent (AGD) and Mixture-of-Experts (MoE) for efficient model and task scaling. We conduct extensive empirical studies and reveal the following key insights: 1) Performing gradient descent updates by alternating on diverse modalities, loss functions, and tasks, with varying input resolutions, efficiently improves the model. 2) Sparsification with MoE on a single modality-agnostic encoder substantially improves the performance, outperforming dense models that use modality-specific encoders or additional fusion layers and greatly mitigates the conflicts between modalities. IMP achieves competitive performance on a wide range of downstream tasks including video classification, image classification, image-text, and video-text retrieval. Most notably, we train a sparse IMP-MoE-L variant focusing on video tasks that achieves new state-of-the-art in zero-shot video classification: 77.0% on Kinetics-400, 76.8% on Kinetics-600, and 68.3% on Kinetics-700, improving the previous state-of-the-art by +5%, +6.7%, and +5.8%, respectively, while using only 15% of their total training computational cost.

研究の動機と目的

• 画像、動画、テキスト、音声といった多様な入力を、モダリティ固有のアーキテクチャを用いずに統合するスケーラブルで統一されたマルチモーダル学習フレームワークを設計すること。
• 大規模なマルチモーダルモデルを効率的に学習する課題に取り組み、性能の低下や高い計算コストを回避すること。
• 再訓練やアーキテクチャの再設計なしに、新しいタスク、データセット、損失関数をスムーズに統合できること。
• AGDによるタスクの入れ替えとMoEによるスパースなエキスパートルーティングを組み合わせることで、モデルの汎化性能とパラメータ効率を向上させること。
• 特にゼロショット動画行動認識において、マルチモーダル理解分野でSOTAの性能を達成すること。

提案手法

• モダリティ固有のエンコーダーを一切使用せず、モダリティに依存しない学習を可能にする、単一の共有Transformerエンコーダーを採用する。
• 訓練中に異なるモダリティ、タスク、損失関数を交互に切り替えながら、交互勾配降下法（AGD）を適用することで収束性と汎化性能を向上させる。
• 効率性と安定性を維持するために、入力解像度、シーケンス長、ミニバッチサイズを動的に入れ替える。
• 統一されたエンコーダーにMixture-of-Experts（MoE）を適用し、各トークンごとにスパースにエキスパートを活性化することで、計算コストに比例しないモデル容量の拡大を実現する。
• JAXプリミティブを用いて効率的なMoEおよびAGD訓練を実装し、高いスループットと低いメモリオーバーヘッドを達成する。
• 複数のモダリティに跨る対照的損失（画像-テキスト、動画-テキスト、動画-音声）と分類ヘッドを組み合わせてモデルを訓練する。

(a) The IMP model architecture.

実験結果

リサーチクエスチョン

• RQ1 異なるモダリティやタスクを交互に処理する勾配降下法が、マルチモーダル学習における収束性と汎化性能を向上させることができるか？
• RQ2 エキスパートの混合（MoE）を備えた統一的でモダリティに依存しないエンコーダーは、マルチタワー型やモダリティ固有のアーキテクチャを上回る性能と効率性を達成できるか？
• RQ3 スパースなMoEルーティングは、統一されたマルチモーダルエンコーダーにおけるパラメータのボトルネックを効果的に解消できるか、かつ全モダリティで精度を維持できるか？
• RQ4 AGDは、訓練効率を損なわずに、タスクやデータセットの段階的拡張をどの程度可能にするか？
• RQ5 単一のスパースモデルは、顕著に低い計算コストでゼロショット動画理解分野でSOTAの性能を達成できるか？

主な発見

• IMP-MoE-Lモデルは、Kinetics-400で77.0%のゼロショット精度を達成し、前回SOTAより+5.0%向上したが、訓練に必要な計算コストはわずか15%にとどまる。
• Kinetics-600では76.8%の精度を達成し、前回の手法より+6.7%向上したが、同じ低計算コストを維持した。
• Kinetics-700では68.3%のゼロショット精度を達成し、+5.8%の向上を示し、より大きな行動クラス集合への強い汎化性能を示した。
• 4つのエキスパートでのMoEでも、ゼロショット画像分類の精度が顕著に向上し、エキスパート数を16に増やすと、すべての下流タスクで一貫した向上が得られた。
• マルチタワーの密度型モデルと比較して、単一タワーのMoEモデルはパラメータ効率性と計算効率性の両面で優れており、少ないパラメータ数で高い精度を達成した。
• MoEはモダリティ干渉を効果的に軽減し、密度型ベースラインと比較して、音声の追加が画像や動画性能に与える悪影響を低減した。

(b) The AGD-based multi-data multi-objective training overview.