[論文レビュー] i-Code: An Integrative and Composable Multimodal Learning Framework

Ziyi Yang, Yuwei Fang+18 more|arXiv (Cornell University)|May 3, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

i-Code は、事前学習済みの単モodalエンコーダーと、クロスモーダルアテンションを備えた新規な統合ネットワークを用いて、視覚、音声、言語表現を統合する自己教師ありマルチモーダルフレームワークである。i-Code は、二モーダルおよび三モーダルデータを統合的に事前学習し、マスク単位モデリングと対照学習の目的関数を用いることで、先行手法に比べ最大11%の向上を達成し、5つの動画理解タスクおよび GLUE ベンチマークで最先端の性能を達成した。

ABSTRACT

Human intelligence is multimodal; we integrate visual, linguistic, and acoustic signals to maintain a holistic worldview. Most current pretraining methods, however, are limited to one or two modalities. We present i-Code, a self-supervised pretraining framework where users may flexibly combine the modalities of vision, speech, and language into unified and general-purpose vector representations. In this framework, data from each modality are first given to pretrained single-modality encoders. The encoder outputs are then integrated with a multimodal fusion network, which uses novel attention mechanisms and other architectural innovations to effectively combine information from the different modalities. The entire system is pretrained end-to-end with new objectives including masked modality unit modeling and cross-modality contrastive learning. Unlike previous research using only video for pretraining, the i-Code framework can dynamically process single, dual, and triple-modality data during training and inference, flexibly projecting different combinations of modalities into a single representation space. Experimental results demonstrate how i-Code can outperform state-of-the-art techniques on five video understanding tasks and the GLUE NLP benchmark, improving by as much as 11% and demonstrating the power of integrative multimodal pretraining.

研究の動機と目的

• 大規模かつ完全にアノテーションが付与された三モーダルデータの不足を考慮して、視覚、言語、音声の三モーダルモデルを効果的に学習する課題に対処すること。
• 統一された表現空間内で、単一モーダル、二モーダル、三モーダルの処理を柔軟かつ動的に可能にすること。
• 大規模な二モーダルデータセット（例：画像-キャプション、音声-トランスクリプト、動画-ナラティブ）に加え、三モーダルデータを活用することで、マルチモーダル表現学習を向上させること。
• 言語理解をクロスモーダル事前学習により強化することで、NLPベンチマークにおけるマルチモーダルモデルと単一モーダル言語モデルの性能格差を是正すること。
• 最先端の単一モーダルエンコーダーの出力を、新規なアテンションメカニズムと自己教師あり目的関数を用いて効果的に統合する統合アーキテクチャを設計すること。

提案手法

• 訓練から再始動することを避けるために、事前学習済みの単一モーダルエンコーダー（視覚、音声、言語）を特徴抽出器として使用する。
• 異なるモーダル表現同士の相互作用を可能にするクロスアテンション機構を備えたマルチモーダル統合ネットワークを採用する。
• マスク単位モデリングを適用：モーダル入力を離散トークンとみなして、事前学習中に異なるモーダル間でマスクされたトークンを予測する。
• クロスモーダル対照学習を導入：二つの入力信号（例：画像とテキスト）が同じサンプルペアまたはトリプレットから来ているかどうかを判別する。
• 動画（V+L+S）、画像-キャプション（V+L）、音声-トランスクリプト（S+L）、動画ナラティブ（V+S）を含む多様なデータでエンドツーエンドに事前学習することで、データ効率を向上させる。
• 異なるモーダル組み合わせの出力を統一された埋め込み空間に射影する共有表現空間を用いる。

実験結果

リサーチクエスチョン

• RQ1 限られた三モーダルデータを用いて、視覚、言語、音声の間で共同表現を効果的に学習できるマルチモーダル事前学習フレームワークは存在するか？
• RQ2 画像-キャプション（V+L）、音声-トランスクリプト（S+L）、動画-ナラティブ（V+S）などの二モーダルデータで事前学習することで、三モーダル動画データに依存するのと比較して性能が向上するか？
• RQ3 新規なアテンション機構を備えた統合モジュールは、異種のモーダル表現を統合する際、標準的な統合戦略を上回る性能を示すか？
• RQ4 マルチモーダルモデルは、GLUEなどのNLPベンチマークで単一モーダル言語モデルと同等またはそれ以上の性能を達成できるか、あるいはそれを上回れるか？
• RQ5 マスク単位モデリングと対照学習の統合は、クロスモーダル整合性と下流タスクへの一般化性能をどの程度向上させるか？

主な発見

• i-Code は、5つの動画理解ベンチマークで最先端の性能を達成し、一部のケースで先行手法に比べ最大11%の向上を示した。
• GLUE NLPベンチマークでは、i-Code の平均スコアは 89.0 であり、DeBERTa V3 Base（88.6）を上回り、UNITER（72.9） や CLIP（50.5） といった他のマルチモーダルモデルを著しく上回った。
• i-Code は、言語のみのタスクで、以前のマルチモーダルモデルに比べ1.4〜4.5ポイントの向上を達成し、専用言語モデルとの性能差を縮めた。
• 言語-音声（L+S）の組み合わせは、MOSEI 感情認識タスクで最高の二モーダル性能（F1: 56.1）を示し、単一モーダルよりも優れた性能を発揮した。
• 二モーダルデータ（i-Code D+M）で事前学習することで、三モーダル動画データ（i-Code V+M）で事前学習した場合と同等またはそれ以上の性能を達成した。これは、データ効率の高さを示している。
• アブレーションスタディの結果、すべての三モーダルが性能向上に寄与しており、V+L+S の組み合わせが MOSEI 感情認識で最高の正答率（49.4%）を記録した。