[論文レビュー] Foundations and Trends in Multimodal Machine Learning: Principles, Challenges, and Open Questions

Paul Pu Liang, Amir Zadeh+1 more|arXiv (Cornell University)|Sep 7, 2022

Speech and dialogue systems被引用数 36

ひとこと要約

マルチモーダル学習の基礎原理を定義し、関連するサブクエスチョンとアプローチを伴う6つの中核的課題（表現、整合、推論、生成、転送、定量化）の分類を提示する、包括的な調査。

ABSTRACT

Multimodal machine learning is a vibrant multi-disciplinary research field that aims to design computer agents with intelligent capabilities such as understanding, reasoning, and learning through integrating multiple communicative modalities, including linguistic, acoustic, visual, tactile, and physiological messages. With the recent interest in video understanding, embodied autonomous agents, text-to-image generation, and multisensor fusion in application domains such as healthcare and robotics, multimodal machine learning has brought unique computational and theoretical challenges to the machine learning community given the heterogeneity of data sources and the interconnections often found between modalities. However, the breadth of progress in multimodal research has made it difficult to identify the common themes and open questions in the field. By synthesizing a broad range of application domains and theoretical frameworks from both historical and recent perspectives, this paper is designed to provide an overview of the computational and theoretical foundations of multimodal machine learning. We start by defining three key principles of modality heterogeneity, connections, and interactions that have driven subsequent innovations, and propose a taxonomy of six core technical challenges: representation, alignment, reasoning, generation, transference, and quantification covering historical and recent trends. Recent technical achievements will be presented through the lens of this taxonomy, allowing researchers to understand the similarities and differences across new approaches. We end by motivating several open problems for future research as identified by our taxonomy.

研究の動機と目的

• マルチモーダル学習の基礎原理を定義する（異質性、結びつき、相互作用）。
• マルチモーダルMLの6つの中核的技術課題の分類を提案する。
• 表現、整合、推論、生成、転送、定量化にわたる歴史的および最近のアプローチを統合する。
• マルチモーダル学習における未解決問題と今後の研究方向を強調する。

提案手法

• 6つのコア課題の分類とサブカテゴリーおよび代表的なアプローチを提案する。
• 表現、整合、推論、生成、転送、定量化の下で既存の手法をレビュー・分類する。
• モダリティの異質性、結びつき、相互作用の原理と、それらが各課題をどのように動機づけるかを議論する。
• 融合、協調、分岐などを含む横断モーダル表現と相互作用を調査する。
• 分類により特定された未解決の問いと将来の方向性を検討する。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダル学習を推進するコア原理は何であり、それらは方法論的選択にどのように影響を与えるか。
• RQ2 マルチモーダルMLの6つの基本技術課題は何であり、それらをどのように効果的に分類し対処できるか。
• RQ3 表現、整合、推論、生成、転送、定量化の各サブ課題ごとの主要なアプローチと代表例は何か。
• RQ4 この分類に従って、マルチモーダルMLにはどのような未解決問題が残っているか。
• RQ5 異質性、結びつき、相互作用は学習と評価にどのように影響するか。

主な発見

• 体系的な分類は6つの中核課題を特定する：表現、整合、推論、生成、転送、定量化。
• モダリティは異質で、互いに結びつき、相互作用的であり、各コア課題内に特化したサブ分野を動機づける。
• サブ課題には表現のための fusion、協調、分岐が含まれる; 表現の整合と文脈化には離散と連続の整合、文脈化が含まれ、推論には構造化モデル化と外部知識、生成には要約、翻訳、創出、転送には横断モーダル転送、共学習、モデル誘導、定量化には異質性、相互接続、学習が含まれる。
• 本論文は歴史的および最近の研究を統合し、応用分野と理論的枠組みを横断する共通テーマと未解決の問いを整理する。
• 基礎原理を具体的な方法論的問題と今後の研究方向に結びつける。