[論文レビュー] Multimodal Pretraining Unmasked: Unifying the Vision and Language BERTs.

Emanuele Bugliarello, Ryan Cotterell+2 more|arXiv (Cornell University)|Nov 30, 2020

Multimodal Machine Learning Applications参考文献 19被引用数 18

ひとこと要約

この論文は、単一ストリームおよびデュアルストリームの視覚・言語BERTモデルを共通の理論的枠組みの下で統一し、モデル間のパフォーマンス差の大部分がトレーニングデータとハイパーパrameterに起因することを示している。同時に、マルチモodal事前学習における埋め込み層の重要な役割も強調している。本研究では、5つのV&L BERTに対して制御された実験を通じて実証的洞察を提供している。

ABSTRACT

Large-scale pretraining and task-specific fine-tuning is now the standard methodology for many tasks in computer vision and natural language processing. Recently, a multitude of methods have been proposed for pretraining vision and language BERTs to tackle challenges at the intersection of these two key areas of AI. These models can be categorized into either single-stream or dual-stream encoders. We study the differences between these two categories, and show how they can be unified under a single theoretical framework. We then conduct controlled experiments to discern the empirical differences between five V&L BERTs. Our experiments show that training data and hyperparameters are responsible for most of the differences between the reported results, but they also reveal that the embedding layer plays a crucial role in these massive models.

研究の動機と目的

• 単一ストリームおよびデュアルストリームの視覚・言語BERTアーキテクチャの理論的・実証的差を理解すること。
• マルチモダール事前学習のためのこれらの2つのカテゴリを、1つの理論的枠組みで統一すること。
• トレーニングデータ、ハイパーパrameter、およびモデル部品（特に埋め込み層）がモデルパフォーマンスに与える影響を分離して特定すること。
• 5つの異なるV&L BERTモデルを比較する制御実験を実施し、パフォーマンス変動の主な要因を同定すること。

提案手法

• 著者らは、視覚・言語事前学習における単一ストリームおよびデュアルストリームエンコーダアーキテクチャを包含する統一された理論的枠組みを構築した。
• アーキテクチャタイプとトレーニング設定以外のすべてのコンポONENTを一定に保ちながら、5つのV&L BERTモデルに対して制御されたアブレーションスタディを実施した。
• 埋め込み層の寄与を分離するために、その設計と下流パフォーマンスへの影響を分析した。
• ハイパーパラメータおよびデータ分布の影響を体系的に評価し、報告された結果に与える影響を特定した。
• 標準ベンチマークを用いて、制御された条件下でのパフォーマンス差を測定する実証的比較を実施した。

実験結果

リサーチクエスチョン

• RQ1 単一ストリームおよびデュアルストリームの視覚・言語BERTは、その内在的なインダクティブバイアスおよびパフォーマンス特性においてどのように異なるか？
• RQ2 トレーニングデータおよびハイパーパラメータは、V&L BERTモデル間のパフォーマンス変動をどの程度説明できるか？
• RQ3 埋め込み層はマルチモダール事前学習モデルの成功にどのような役割を果たすか？
• RQ4 単一ストリームおよびデュアルストリームアーキテクチャは、共通の理論的枠組みの下で正式に統一可能か？

主な発見

• トレーニングデータとハイパーパラメータが、V&L BERTモデル間のパフォーマンス差の主な要因であり、アーキテクチャの選択を上回る。
• 埋め込み層はモデルの挙動とパフォーマンスに顕著な影響を与え、マルチモダール表現学習におけるその重要な役割を示している。
• アーキテクチャの違いにもかかわらず、単一ストリームおよびデュアルストリームモデルは、共通の理論的枠組みの下で統一可能であり、共通のインダクティブバイアスを明らかにした。
• 制御された実験により、モデル間の報告されたパフォーマンス差は、しばしばアーキテクチャの優位性ではなく、トレーニングのばらつきに起因することが示された。