[论文解读] What Makes Multi-modal Learning Better than Single (Provably)

Yu Huang, Chenzhuang Du+4 more|arXiv (Cornell University)|Jun 8, 2021

Multimodal Machine Learning Applications参考文献 52被引用 43

一句话总结

该论文证明，在一个常见的多模态融合框架下，使用多种模态的学习会比使用任意子集得到更小的总体风险，这是由于潜在表示质量的提升，并通过理论和实验进行了验证。

ABSTRACT

The world provides us with data of multiple modalities. Intuitively, models fusing data from different modalities outperform their uni-modal counterparts, since more information is aggregated. Recently, joining the success of deep learning, there is an influential line of work on deep multi-modal learning, which has remarkable empirical results on various applications. However, theoretical justifications in this field are notably lacking. Can multi-modal learning provably perform better than uni-modal? In this paper, we answer this question under a most popular multi-modal fusion framework, which firstly encodes features from different modalities into a common latent space and seamlessly maps the latent representations into the task space. We prove that learning with multiple modalities achieves a smaller population risk than only using its subset of modalities. The main intuition is that the former has a more accurate estimate of the latent space representation. To the best of our knowledge, this is the first theoretical treatment to capture important qualitative phenomena observed in real multi-modal applications from the generalization perspective. Combining with experiment results, we show that multi-modal learning does possess an appealing formal guarantee.

研究动机与目标

• 形式化一个多模态学习的理论框架，将模态编码到一个共同的潜在空间中。
• 在某些条件下，证明多模态学习的总体风险低于任何模态子集的总体风险。
• 引入一个潜在表示质量度量，将表示准确性与泛化性能联系起来。
• 推导实用的模态选择见解，并在真实数据和合成数据上进行实验验证。

提出的方法

• 用 K 个模态建模数据，通过 g⋆ 将其映射到潜在空间 Z，然后再通过 h⋆ 将 Z 映射到 Y。
• 允许数据不完备，仅观测模态子集 M，并将 G_M 定义为与 M 相对应的学习潜在映射。
• 使用经验风险最小化从数据中联合学习 h 和 g_M。
• 将潜在表示质量 η(g) 定义为在使用固定 g 时可达到的最佳总体风险差异。
• 建立模态子集之间的总体风险差异界限（定理 1）以及 η(g_M) 的界限（定理 2）。
• 给出一个线性（可识别）特例（命题 1），在某些条件下说明 γ_S(M,N) ≤ 0。

实验结果

研究问题

• RQ1 在何种条件下，多模态学习在总体风险方面优于单模态或子集模态？
• RQ2 使用更多模态时，性能提升的驱动因素是什么，以及如何量化和界定潜在表示？
• RQ3 潜在表示质量如何与跨模态子集的泛化性能相关？
• RQ4 在模态选择和数据需求方面能得出哪些实际指南？
• RQ5 理论见解在线性设置和现实数据中是否成立？

主要发现

• 使用更多模态通常比使用更少模态获得更低的总体风险，这由 γ_S(M,N) 和潜在表示质量 η(g) 的界限所约束。
• 更大的模态集合 M 可能产生更好的潜在表示 g_M，降低 η(g_M) 并在数据充足时改善端到端性能。
• 界限表明，随着样本量 m 的增加，模型复杂度的影响减小，多模态融合可以主导经验风险的降低。
• 在线性潜在和线性任务映射设定下，包含所有模态 M=[K] 会得到非正的 γ_S(M,N)，这意味着模态的完备性可能有利。
• 在 IEMOCAP（文本、视频、音频）上的实验证实，增加模态会提高准确性，潜在表示质量也反映了这一改进；合成数据表明更高的模态相关性进一步提升 η(g)。
• 该工作为何时以及为何多模态学习有帮助提供了有原则的解释，基于泛化理论而非分布假设。