[論文レビュー] Recent Advances and Trends in Multimodal Deep Learning: A Review

Summaira Jabeen, Xi Li+3 more|arXiv (Cornell University)|May 24, 2021

Multimodal Machine Learning Applications参考文献 172被引用数 18

ひとこと要約

本調査は、マルチモーダルディープラーニング（MMDL）分野における最近の進展を包括的にレビューし、画像、動画、テキスト、音声、ジェスチャー、顔の表情、生理的信号の各分野における応用を細分化した分類法を提案する。アーキテクチャ、データセット、評価指標、未解決の課題を分析し、マルチモーダル表現学習および統合に関する今後の研究の詳細な方向性を提示する。

ABSTRACT

Deep Learning has implemented a wide range of applications and has become increasingly popular in recent years. The goal of multimodal deep learning is to create models that can process and link information using various modalities. Despite the extensive development made for unimodal learning, it still cannot cover all the aspects of human learning. Multimodal learning helps to understand and analyze better when various senses are engaged in the processing of information. This paper focuses on multiple types of modalities, i.e., image, video, text, audio, body gestures, facial expressions, and physiological signals. Detailed analysis of past and current baseline approaches and an in-depth study of recent advancements in multimodal deep learning applications has been provided. A fine-grained taxonomy of various multimodal deep learning applications is proposed, elaborating on different applications in more depth. Architectures and datasets used in these applications are also discussed, along with their evaluation metrics. Last, main issues are highlighted separately for each domain along with their possible future research directions.

研究の動機と目的

• 画像、動画、テキスト、音声、身体のジェスチャー、顔の表情、生理的信号を含む多様なモダリティにおけるマルチモーダルディープラーニング（MMDL）の最先端のレビューを提供すること。
• 単一モダリティ学習の限界を是正するため、複数の感覚的入力を統合するモデルの必要性を強調し、より豊かで人間らしい理解を実現すること。
• 近年の研究動向をより的確に整理・分類できるよう、MMDL応用分野のための新規で細分化された分類法を提案すること。
• 現在のMMDL応用で用いられる主要なアーキテクチャ、ベンチマークデータセット、評価指標を分析すること。
• 各応用分野におけるオープンな研究課題を特定し、具体的な今後の研究方向性を提示すること。

提案手法

• モダリティタイプと応用タスクに基づいて、MMDL応用を明確に分類する。
• アテンション機構、マルチモーダルトランスフォーマー、ラテントファージョンアーキテクチャなどを含む、ベースラインおよび最近の最先端モデルをレビュー・比較する。
• MS-COCO、IEMOCAP、MSR-VTT、DAQUARといった広く使われているデータセットを分析し、その特徴と特定のタスクへの適性を強調する。
• mAP、AUC、平均絶対誤差（MAE）、MOSといった評価指標を検討し、異なるMMDLタスクにおけるモデル性能を評価する。
• CNN、RNN、LSTM、BiLSTM、MCBやラテントファージョンといったマルチモーダル統合技術を含む、ニューラルネットワークアーキテクチャの構造的分析を実施する。
• 2018年から2021年の最近の文献を統合するサーベイベースの手法を用い、各分野におけるトレンド、課題、未解決の問題を焦点に分析する。

実験結果

リサーチクエスチョン

• RQ1 最近のMMDLモデルは、画像、テキスト、音声、生理的信号といった多様なモダリティ間で、どのように情報を効果的に統合・表現しているか？
• RQ2 視覚的質問応答、音声認識、感情検出といったマルチモーダルタスクで性能が向上した主なアーキテクチャ的革新と統合戦略は何か？
• RQ3 データの非均質性、次元の呪い、信号の前処理に関する点で、現在のMMDL応用に見られる主な制限要因と未解決の課題は何か？
• RQ4 既存のデータセットと評価指標は、異なる応用分野におけるマルチモーダル学習の進展をどのように支援または制限しているか？
• RQ5 より強固で一般化可能で効率的なマルチモーダルディープラーニングシステムを進展させるために、どの今後の研究方向性が最も有望か？

主な発見

• マルチモーダル学習は、複数の感覚的入力からの補完的情報を活用することで、単一モダリティアプローチよりも顕著に性能を向上させる。
• アテンション機構とマルチモーダルトランスフォーマーが主要なアーキテクチャとして台頭し、効果的なクロスモダリティアライメントと特徴統合を可能にしている。
• 次元の呪いは、多様なモダリティからの高次元特徴を連結する際の重要な課題のまま残っている。
• 感情認識のための生理的信号処理はまだ初期段階にあり、前処理の複雑さと代表的なデータセットの不足が主な障壁となっている。
• エンドツーエンド（E2E）学習モデルは、従来のパイプラインベースの手法に比べて、異種データの相関を捉える柔軟性に優れている。
• 今後の研究では、トランスファーラーニングを活用したマルチプラットフォームイベント検出、およびGANやRNN拡張による特徴学習の向上を重視すべきである。