[論文レビュー] Maximum Likelihood Estimation for Multimodal Learning with Missing Modality

Fei Ma, Xiangxiang Xu+2 more|arXiv (Cornell University)|Aug 24, 2021

Speech and Audio Processing参考文献 50被引用数 9

ひとこと要約

本稿では、欠損モダリティを持つデータを効果的に活用するための最尤推定（MLE）ベースのフレームワークを提案する。完全なモダリティと欠損モダリティの両方のサンプルの条件付き分布をモデル化することで、95％のトレーニングデータでモダリティが欠損している状況でも、最先端の性能を達成するエンドツーエンドの学習が可能となる。一般化されたソフトマックス関数を導入し、最尤推定の最適化を実現する。

ABSTRACT

Multimodal learning has achieved great successes in many scenarios. Compared with unimodal learning, it can effectively combine the information from different modalities to improve the performance of learning tasks. In reality, the multimodal data may have missing modalities due to various reasons, such as sensor failure and data transmission error. In previous works, the information of the modality-missing data has not been well exploited. To address this problem, we propose an efficient approach based on maximum likelihood estimation to incorporate the knowledge in the modality-missing data. Specifically, we design a likelihood function to characterize the conditional distribution of the modality-complete data and the modality-missing data, which is theoretically optimal. Moreover, we develop a generalized form of the softmax function to effectively implement maximum likelihood estimation in an end-to-end manner. Such training strategy guarantees the computability of our algorithm capably. Finally, we conduct a series of experiments on real-world multimodal datasets. Our results demonstrate the effectiveness of the proposed approach, even when 95% of the training data has missing modality.

研究の動機と目的

• センサーエラーまたは伝送エラーによって生じるモダリティ欠損のためのトレーニングデータにおいて、マルチモーダル学習の性能が著しく低下する問題に対処すること。
• 欠損モダリティデータを破棄するか、理論的根拠のないヒューリスティックな統合戦略を用いる既存手法の制限を克服すること。
• 理論的根拠に基づいた、エンドツーエンドで学習可能なフレームワークを構築し、モダリティが完全なデータと欠損したデータの両方を活用して分類性能を向上させること。
• MLE最適化と互換性を持つ一般化ソフトマックス関数の設計により、計算効率と学習の柔軟性を確保すること。

提案手法

• 理論的最適性を保証するように、モダリティが完全なデータと欠損したデータの両方の条件付き分布をモデル化するための尤度関数を定式化する。
• エンドツーエンドの最適化を可能にするために、一般化されたソフトマックス関数を導入し、両方のデータタイプにおけるMLE目的関数の微分可能最適化を実現する。
• 完全モダリティと欠損モダリティの両方のサンプルからの証拠を統合するための統合対数尤度目的関数を用いてモデルを学習する。
• 畳み込みニューラルネットワーク（例：ResNet、VGG）を用いてモダリティ固有の特徴を抽出し、フレームワークが表現と欠損処理を同時に学習できるようにする。
• eNTERFACE’05 や RAVDESS などの実世界のデータセットを用いて、マルチモーダル分類タスクに本フレームワークを適用する。
• ネットワークアーキテクチャ（例：ResNet-50 と VGG-16）の適応を検討し、どのモダリティが欠損しているかに応じてモデルのロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダル学習において、モダリティが完全なデータと欠損したデータの両方を理論的に最適な尤度関数でモデル化することは可能か？
• RQ2 モダリティ情報が部分的に欠損している状況でも、最尤推定をエンドツーエンドで学習可能に実装するにはどうすればよいか？
• RQ3 95％のモダリティ欠損率を持つデータで学習したモデルでも、分類精度がどの程度高い水準を維持できるか？
• RQ4 本手法は、欠損データを破棄するか、ヒューリスティックな補完戦略を用いる既存手法を上回るか？
• RQ5 特徴抽出器の選択（例：ResNet-50 対 VGG-16）が、異なるモダリティ欠損状況下での性能に与える影響は何か？

主な発見

• 提案手法は、特にモダリティ欠損データが豊富な状況において、ベースライン手法よりも顕著に高い分類精度を達成する。
• トレーニングサンプルの95％がモダリティを欠損していても、モデルは高い性能を維持し、極端な欠損状況に対しても強いロバスト性を示す。
• 一般化ソフトマックス関数により、エンドツーエンドの学習が効果的に実現され、マルチステージ手法と比較して計算効率と収束性が向上する。
• 自己符号化器ベースのベースライン（AE1 と AE2）よりも、モダリティが完全なデータの量が増えるほど顕著に性能が優れている。
• 特徴抽出器の選択に応じて性能に差が生じる：視覚モダリティが欠損している場合には ResNet-50 が、音声モダリティが欠損している場合には ResNet-34 がより高い精度を達成する。
• 理論的尤度関数は、ヒューリスティックな手法とは異なり、不完全なデータからの学習のための堅固な基盤を提供する。