[論文レビュー] SMIL: Multimodal Learning with Severely Missing Modality

Mengmeng Ma, Jian Ren+4 more|arXiv (Cornell University)|Mar 9, 2021

Domain Adaptation and Few-Shot Learning参考文献 50被引用数 11

ひとこと要約

本稿では、訓練データの90％が完全なモダリティを欠くという極めて欠損の深刻な状況下でも、マルチモーダル学習を可能にするベイジアンメタラーニングフレームワーク、SMILを提案する。欠損モダリティの同時再構成と不確実性を考慮した推論による潜在特徴の正則化を通じて、MM-IMDb、CMU-MOSI、avMNISTの3つのベンチマークで最先端の性能を達成。生成的ベースライン（VAEやGAN）ですら、極端な欠損状況下でもSMILに劣らない性能を示す。

ABSTRACT

A common assumption in multimodal learning is the completeness of training data, i.e., full modalities are available in all training examples. Although there exists research endeavor in developing novel methods to tackle the incompleteness of testing data, e.g., modalities are partially missing in testing examples, few of them can handle incomplete training modalities. The problem becomes even more challenging if considering the case of severely missing, e.g., 90% training examples may have incomplete modalities. For the first time in the literature, this paper formally studies multimodal learning with missing modality in terms of flexibility (missing modalities in training, testing, or both) and efficiency (most training data have incomplete modality). Technically, we propose a new method named SMIL that leverages Bayesian meta-learning in uniformly achieving both objectives. To validate our idea, we conduct a series of experiments on three popular benchmarks: MM-IMDb, CMU-MOSI, and avMNIST. The results prove the state-of-the-art performance of SMIL over existing methods and generative baselines including autoencoders and generative adversarial networks. Our code is available at https://github.com/mengmenm/SMIL.

研究の動機と目的

• 訓練データに著しく不完全なモダリティが存在する状況におけるマルチモーダル学習の手法不足に取り組むこと。これは現実世界で一般的な課題である。
• 学習時に完全なモダリティを必要とせず、推論時のみに欠損モダリティを処理できる既存のアプローチの限界を克服すること。
• 訓練時・テスト時、あるいは両方で欠損モダリティを扱える柔軟性と、ほとんど完全でないデータからも効果的に学習できる効率性を備えた統合フレームワークを開発すること。
• VAE や GAN などの生成的モデルが完全なモダリティデータを事前学習に依存するという本質的なバイアスを回避すること。
• 分布モデリングのための大量の完全モダリティデータを必要とせず、多様な欠損パターンに耐性を持つ性能を実現すること。

提案手法

• 変分推論を用いて、モダリティ再構成と潜在特徴正則化を同時に最適化するベイジアンメタラーニングフレームワークを提案する。
• 後方分布からの特徴抽出により、モダリティ固有の重みを生成する再構成ネットワーク $\phi_c$ を使用し、欠損モダリティの動的再構成を可能にする。
• 潜在特徴を摂動させる正則化器の後方分布を出力する正則化ネットワーク $\phi_r$ を導入し、滑らかで一般化可能な埋め込みを促進する。
• \phi_c および \phi_r の後方分布からの確率的サンプリングを適用し、不確実性をモデル化することで、欠損モダリティに対する耐性を向上させる。
• K-meansクラスタリングを活用し、再構成ネットワークが欠損モダリティ特徴のより正確で分離可能な表現を学習できるように誘導する。
• モデル重みと正則化子の真の後方分布を近似するための変分推論問題として目的関数を定式化し、エンドツーエンドの学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 完全なモダリティデータに依存せず、訓練例の最大90％が欠損モダリティを有する状況でも、マルチモーダルモデルを効果的に学習可能か？
• RQ2 訓練時・テスト時、あるいは両方で欠損モダリティが生じる多様なパターンに対し、別々のアーキテクチャを必要とせず、高い性能を維持できるか？
• RQ3 不確実性を考慮した正則化を施したベイジアンメタラーニングは、低データ・高欠損状況下で、標準的な生成的モデル（例：VAE、GAN）を上回る性能を示すか？
• RQ4 モダリティ再構成と特徴正則化を併用することで、欠損モダリティ生成における一般化性能とバイアス低減がどの程度向上するか？
• RQ5 メタラーニングで得たインダクティブバイアスのおかげで、微調整なしに未観測の欠損パターンに対しても一般化可能か？

主な発見

• SMILは、MM-IMDb、CMU-MOSI、avMNISTの3つのベンチマークで最先端の性能を達成。すべての欠損モダリティパターンにおいて、下限ベースラインおよび生成的ベースライン（AE、GAN）を上回る。
• 音声モダリティが5％しか利用できない単一モダリティテストでは、下限ベースライン比で分類精度が1.10％向上し、極端な欠損状況下での耐性を示した。
• 完全モダリティから単一モダリティへの切り替え時、SMILは1.0％の性能低下にとどまるが、AEやGANは5.6％の低下を示し、優れた柔軟性を示した。
• アブレーションスタディにより、K-means誘導再構成（SMIL w/o K-means）はF1スコアを1.0～2.0ポイント低下させ、正確な欠損モダリティ生成に不可欠であることが確認された。
• 特徴正則化を除去（SMIL w/o Regularization）すると、F1スコアが0.015～0.025低下し、正則化が埋め込み差違を最小化するために不可欠であることが裏付けられた。
• 固定ガウス分布または決定論的推論をベイジアンメタラーニングに代えて使用した場合、F1スコアが0.01～0.03低下し、不確実性を考慮した推論の優位性が示された。