[論文レビュー] Multimodality Representation Learning: A Survey on Evolution, Pretraining and Its Applications

Muhammad Arslan Manzoor, Sarah Albarri+4 more|arXiv (Cornell University)|Feb 1, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本調査は、深層学習アーキテクチャの進化、事前学習戦略、視覚、言語、音声の統合モデルをカバーする、マルチモーダル表現学習の包括的概要を提供する。トランスフォーマーに基づくアーキテクチャ、事前学習目的、ベンチマークデータセット、および今後の方向性を強調しており、マルチモーダルタスクにおけるクロスマodalな整合性、知識の統合、効率性の向上に注目している。

ABSTRACT

Multimodality Representation Learning, as a technique of learning to embed information from different modalities and their correlations, has achieved remarkable success on a variety of applications, such as Visual Question Answering (VQA), Natural Language for Visual Reasoning (NLVR), and Vision Language Retrieval (VLR). Among these applications, cross-modal interaction and complementary information from different modalities are crucial for advanced models to perform any multimodal task, e.g., understand, recognize, retrieve, or generate optimally. Researchers have proposed diverse methods to address these tasks. The different variants of transformer-based architectures performed extraordinarily on multiple modalities. This survey presents the comprehensive literature on the evolution and enhancement of deep learning multimodal architectures to deal with textual, visual and audio features for diverse cross-modal and modern multimodal tasks. This study summarizes the (i) recent task-specific deep learning methodologies, (ii) the pretraining types and multimodal pretraining objectives, (iii) from state-of-the-art pretrained multimodal approaches to unifying architectures, and (iv) multimodal task categories and possible future improvements that can be devised for better multimodal learning. Moreover, we prepare a dataset section for new researchers that covers most of the benchmarks for pretraining and finetuning. Finally, major challenges, gaps, and potential research topics are explored. A constantly-updated paperlist related to our survey is maintained at https://github.com/marslanm/multimodality-representation-learning.

研究の動機と目的

• 視覚、言語、音声におけるタスク固有のアーキテクチャおよびトランスフォーマーに基づくマルチモーダルアーキテクチャの進化を体系的にレビューすること。
• 一般化性能の向上に寄与する事前学習タイプ、目的、およびそれらの役割を分析すること。
• さまざまなタスクにわたる微調整のオーバーヘッドと計算複雑性を低減する統合型アーキテクチャを提示すること。
• 新規研究者を支援するため、事前学習および微調整のためのベンチマークを含む包括的なデータセットセクションを整備すること。
• マルチリンガルおよび音声統合を含む、マルチモーダル表現学習における主な課題、未解決のギャップ、今後の研究方向性を特定すること。

提案手法

• トランスフォーマーに基づくモデルおよびそのアーキテクチャの進化に焦点を当てた、マルチモーダル表現学習に関する最近の文献を調査すること。
• マスクされた言語モデリング、対照的学習など、事前学習タイプを分類し、それらの目的がクロスマodalな整合性に与える影響を分析すること。
• 最先端の事前学習モデル（例：ViLBERT、CLIP、Flamingo）および統合型アーキテクチャ（例：統合型ビジョン・言語・音声エンコーダ）を比較すること。
• モダリティの組み合わせとタスクタイプに基づいて、深層マルチモーダルアーキテクチャおよび複雑なマルチモーダルアプリケーションの分類法を提示すること。
• パラメータチューニングの改善を図るための手法的改善を提案する。例：プロンプトチューニング、知識蒸留、埋め込みレベルのマスキング。
• 現在のモデルの範囲を拡大するため、音声ストリーム統合とマルチリンガル事前学習の必要性を強調すること。

Figure 1. The pie chart on the left represents the percentage of papers for each section included in this survey. The pie chart in the center represents the percentage of papers for each multimodal application. The rightmost figure expresses the growth of deep learning-based multimodal papers in the

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーに基づくアーキテクチャは、視覚、言語、音声の間でマルチモーダル表現学習を統合するために、どのように進化してきたか？
• RQ2 クロスマodalな整合性と一般化性能の向上に最も効果的な事前学習目的と戦略は何か？
• RQ3 統合型アーキテクチャは、タスク固有の微調整の必要性をどれほど排除し、計算コストを削減できるか？
• RQ4 事前学習および推論の段階で、複数のモダリティ、特に音声を統合するにあたり、主な課題は何か？
• RQ5 外部知識、プルーニング、量子化、および早期評価戦略を活用することで、マルチモーダルモデルの効率性と性能をどのように向上させられるか？

主な発見

• トランスフォーマーに基づくアーキテクチャは、視覚、言語、音声の共同処理を共有表現空間で可能にすることで、マルチモーダル表現学習を著しく進展させた。
• 対照的学習およびマスクされた目的による事前学習はクロスマodalな整合性を向上させ、CLIP や ViLBERT などのモデルが VLR および VQA ベンチマークで最先端のパフォーマンスを達成した。
• 知識蒸留により、ViT-BERT の性能が SST-2 で10%、IN-1K で5%向上し、表現品質の向上に寄与する価値があることが示された。
• 埋め込みレベルのマスキングは、特に微細なクロスマodal理解において、モダリティ間の表現を統合するための最も効果的な戦略であった。
• 音声ストリームの統合は、現在の調査および事前学習フレームワークにおいて未だ十分に検討されておらず、AVSR やセンチメント分析などのタスクにおいて意味的豊かさと有用性を示している。
• 今後の研究では、マルチリンガルマルチモーダルデータセットおよび、プロンプトチューニングやモデル圧縮などの技術を活用して計算コストを低減する統合型アーキテクチャの開発を優先すべきである。

Figure 2. The figure exhibit the difference in the pipeline of Pretraining-Finetuning architecture and the task-specific architecture. Different modes of input in Pretraining show that multimodal data is passed to the model. The Preprocessing module formats each modal input according to the model. T