[論文レビュー] MLP Architectures for Vision-and-Language Modeling: An Empirical Study

Yixin Nie, Linjie Li+7 more|arXiv (Cornell University)|Dec 8, 2021

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本論文は、視覚・言語（VL）統合にMLPを用いる最初の実証的研究を提示している。MLP単体では事前学習なしではトランスフォーマーに劣るが、大規模なVL事前学習と最小限の1ヘッドアテンションを組み合わせることで性能の差を埋められることを示している。さらに、事前学習を経たすべてMLPのVLモデルは、事前学習なしのトランスフォーマーを上回ることを示しており、十分な事前学習があればMLPがVLモデリングに有効である可能性を示している。

ABSTRACT

We initiate the first empirical study on the use of MLP architectures for vision-and-language (VL) fusion. Through extensive experiments on 5 VL tasks and 5 robust VQA benchmarks, we find that: (i) Without pre-training, using MLPs for multimodal fusion has a noticeable performance gap compared to transformers; (ii) However, VL pre-training can help close the performance gap; (iii) Instead of heavy multi-head attention, adding tiny one-head attention to MLPs is sufficient to achieve comparable performance to transformers. Moreover, we also find that the performance gap between MLPs and transformers is not widened when being evaluated on the harder robust VQA benchmarks, suggesting using MLPs for VL fusion can generalize roughly to a similar degree as using transformers. These results hint that MLPs can effectively learn to align vision and text features extracted from lower-level encoders without heavy reliance on self-attention. Based on this, we ask an even bolder question: can we have an all-MLP architecture for VL modeling, where both VL fusion and the vision encoder are replaced with MLPs? Our result shows that an all-MLP VL model is sub-optimal compared to state-of-the-art full-featured VL models when both of them get pre-trained. However, pre-training an all-MLP can surprisingly achieve a better average score than full-featured transformer models without pre-training. This indicates the potential of large-scale pre-training of MLP-like architectures for VL modeling and inspires the future research direction on simplifying well-established VL modeling with less inductive design bias. Our code is publicly available at: https://github.com/easonnie/mlp-vil

研究の動機と目的

• 視覚・言語（VL）タスクにおけるマルチモーダル統合にMLPがトランスフォーマーに効果的に置き換え可能かどうかを調査すること。
• 大規模なVL事前学習がMLPベースのVLモデルに与える影響を評価すること。
• 視覚エンコーダーとマルチモーダル統合モジュールの両方をMLPに置き換えたすべてMLPアーキテクチャが、競争的な性能を達成できるかどうかを調査すること。
• アテンション機構のインダクティブバイアスなしにMLPがクロスモーダルアライメントを学習できるかどうかを評価すること。
• 多様なVLタスクと強靱なVQAベンチマークを対象に、MLPベースのVLモデルの体系的ベンチマークを提供すること。

提案手法

• 視覚およびテキストエンコーダーを変更せずに、トランスフォーマーに基づくマルチモーダル統合モジュールを多層パーセプトロン（MLP）に置き換える。
• MLPアーキテクチャに小さな1ヘッドアテンションモジュールを導入し、性能に与える影響を評価する。
• 5つの標準VLタスクと5つの強靱なVQAベンチマークでモデルを訓練・評価し、MLP、トランスフォーマー、およびハイブリッドMLP-アテンションバリアントを比較する。
• 視覚エンコーダーを最先端のMLPベースの視覚モデル（例：MLP-Mixer、Permutator MLP）に置き換え、テキストには単語埋め込みを用いることで、すべてMLPのVLモデルを実装する。
• VLデータセット上で大規模な事前学習を実施し、MLPベースのモデルの汎化性能と性能を評価する。
• MLP層における学習済み相互作用行列を可視化し、クロスモーダル特徴の相互作用を分析する。

実験結果

リサーチクエスチョン

• RQ1 MLPは視覚・言語タスクにおけるマルチモーダル統合に、効果的にトランスフォーマーに置き換え可能か？
• RQ2 大規模なVL事前学習は、MLPとトランスフォーマーのVL統合における性能差をどの程度縮められるか？
• RQ3 MLPベースの統合には、多ヘッドアテンションが不可欠か？1ヘッドアテンションで十分か？
• RQ4 視覚エンコーディングとマルチモーダル統合の両方をMLPに置き換えたすべてMLPアーキテクチャが、VLタスクで競争的な性能を達成できるか？
• RQ5 ImageNet-1kにおけるMLPベースの視覚エンコーダーの性能と、VLベンチマークにおける性能の相関関係はいかがなっているか？

主な発見

• 事前学習なしでは、MLPベースの統合はトランスフォーマーと比較して顕著な性能差を示し、一部のVQAベンチマークで最大10ポイントの低下を示した。
• 大規模なVL事前学習により、MLPとトランスフォーマーの性能差が顕著に縮まり、MLPがトランスフォーマーの性能を模倣またはほぼ模倣することが可能になった。
• MLPに1つの1ヘッドアテンションモジュールを追加するだけで、完全なトランスフォーマーと同等の性能が達成可能であり、重いアテンション機構が必須でないことを示している。
• より困難な強靱なVQAベンチマークでも、MLPとトランスフォーマーの性能差は拡大せず、同程度の一般化能力を示している。
• すべてMLPのVLモデルは、完全な特徴を持つ事前学習済みトランスフォーマーに比べて最適ではないが、事前学習なしのトランスフォーマーを上回る平均性能を達成しており、MLPにおける事前学習の重要性を強調している。
• 既存のMLPベースの視覚エンコーダー（例：MLP-Mixer）はImageNet-1kでは良好に動作するが、VQAでは著しく劣る性能を示しており、VL特有の特徴学習における性能ギャップが存在することが示された。