[論文レビュー] What Makes Multi-modal Learning Better than Single (Provably)

Yu Huang, Chenzhuang Du+4 more|arXiv (Cornell University)|Jun 8, 2021

Multimodal Machine Learning Applications参考文献 52被引用数 43

ひとこと要約

本論文は、共通のマルチモーダル融合フレームワークの下で、複数のモダリティを用いた学習は、潜在表現の質の向上により任意のサブセットを使用する場合よりも母集団リスクが小さくなることを示し、理論と実験でこれを検証する。

ABSTRACT

The world provides us with data of multiple modalities. Intuitively, models fusing data from different modalities outperform their uni-modal counterparts, since more information is aggregated. Recently, joining the success of deep learning, there is an influential line of work on deep multi-modal learning, which has remarkable empirical results on various applications. However, theoretical justifications in this field are notably lacking. Can multi-modal learning provably perform better than uni-modal? In this paper, we answer this question under a most popular multi-modal fusion framework, which firstly encodes features from different modalities into a common latent space and seamlessly maps the latent representations into the task space. We prove that learning with multiple modalities achieves a smaller population risk than only using its subset of modalities. The main intuition is that the former has a more accurate estimate of the latent space representation. To the best of our knowledge, this is the first theoretical treatment to capture important qualitative phenomena observed in real multi-modal applications from the generalization perspective. Combining with experiment results, we show that multi-modal learning does possess an appealing formal guarantee.

研究の動機と目的

• モダリティを共通の潜在空間にエンコードするマルチモーダル学習の理論的枠組みを定式化する。
• 特定の条件の下で、マルチモーダル学習の母集団リスクがモダリティの任意のサブセットよりも低いことを示す。
• 表現精度と汎化性能を結ぶ潜在表現品質指標を導入する。
• 実用的なモダリティ選択の洞察を導出し、実データと合成データの実験でそれらを検証する。

提案手法

• データを K モダリティでモデル化し、g⋆ によって潜在空間 Z に写像され、続いて Z から Y へのタスク写像 h⋆ を適用する。
• 観測されるモダリティの部分集合 M のみが欠損データとなる場合を許容し、M に対応する学習済み潜在写像を G_M と定義する。
• データから h と g_M を共同で学習するために経験的リスク最小化を用いる。
• 潜在表現品質 η(g) を、固定 g を用いたときに達成可能な最良の母集団リスク差として定義する。
• モダリティサブセット間の母集団リスク差の境界を確立する（Theorem 1）、および η(g_M) の境界を確立する（Theorem 2）。
• ある条件下で γ_S(M,N) ≤ 0 を示す線形（同定可能）特殊ケースを提供する（Proposition 1。）

実験結果

リサーチクエスチョン

• RQ1 どのような条件下で、マルチモーダル学習はユニモーダルまたはサブセットモダリティと比較して母集団リスクの点で優れているのか。
• RQ2 より多くのモダリティを使用する際の性能向上の要因は何であり、潜在表現をどのように定量化し境界づけることができるか。
• RQ3 潜在表現品質はモダリティサブセット間の汎化性能とどのように関連するか。
• RQ4 モダリティ選択とデータ要件に関して、どのような実用的な指針が得られるか。
• RQ5 理論的洞察は線形設定および実世界データで成立するか。

主な発見

• より多くのモダリティで学習することは、一般に γ_S(M,N) および潜在表現品質 η(g) によって限定される範囲内で、少ないモダリティを使用するよりも母集団リスクを低くする。
• より大きなモダリティ集合 M は潜在表現 g_M をより良くする可能性があり、η(g_M) を低減し、十分なデータがある場合にはエンドツーエンドの性能を改善する。
• 境界は、標本サイズ m が増えるとモデルの複雑さの影響が減少し、マルチモーダル融合が経験的リスクの低減を支配しうることを示す。
• 線形潜在と線形タスクマッピングの設定では、全モダリティ M=[K] を含めるとγ_S(M,N) が非正となり、モダリティの完全性が有利であることを意味する。
• IEMOCAP（テキスト、ビデオ、音声）の実験は、モダリティを追加すると精度が向上することを確認し、潜在表現品質はこの改善を反映する；合成データはモダリティ相関が高いほど η(g) がさらに向上することを示す。
• 本研究は、一般化理論に基づき distributional assumptions に頼らず、いつなぜマルチモーダル学習が有効かについて原理的な説明を提供する。