[论文解读] A Theory of Multimodal Learning

Lu Zhou|arXiv (Cornell University)|Sep 21, 2023

Neural Networks and Applications被引用 4

一句话总结

本文提出一个理论框架，解释为何多模态学习在泛化能力上优于单模态学习，即使在单模态任务上也是如此。通过将模态间连接的学习与预测器的学习解耦，当模态之间同时存在连接性和异质性时，证明其泛化误差界相比单模态方法可提升至 $O(\sqrt{n})$。

ABSTRACT

Human perception of the empirical world involves recognizing the diverse appearances, or 'modalities', of underlying objects. Despite the longstanding consideration of this perspective in philosophy and cognitive science, the study of multimodality remains relatively under-explored within the field of machine learning. Nevertheless, current studies of multimodal machine learning are limited to empirical practices, lacking theoretical foundations beyond heuristic arguments. An intriguing finding from the practice of multimodal learning is that a model trained on multiple modalities can outperform a finely-tuned unimodal model, even on unimodal tasks. This paper provides a theoretical framework that explains this phenomenon, by studying generalization properties of multimodal learning algorithms. We demonstrate that multimodal learning allows for a superior generalization bound compared to unimodal learning, up to a factor of $O(\sqrt{n})$, where $n$ represents the sample size. Such advantage occurs when both connection and heterogeneity exist between the modalities.

研究动机与目标

• 为多模态学习的实证成功提供理论基础，目前该成功主要依赖启发式方法而缺乏严格解释。
• 解释为何多模态模型即使在单模态任务上也能超越精心微调的单模态模型。
• 形式化模态之间‘连接’与‘异质性’在实现更好泛化中的作用。
• 为两阶段多模态 ERM 算法建立可证明的泛化误差上下界。
• 展示多模态学习与单模态学习之间的本质分离，表明多模态学习能够解决单模态学习无法解决的问题。

提出的方法

• 提出一种两阶段经验风险最小化（ERM）算法：首先使用潜在的未标记数据学习一个将一种模态映射到另一种模态的连接函数 $\hat{g} \in \mathcal{G}$，然后在组合数据上学习一个预测器 $\hat{f} \in \mathcal{F}$。
• 使用统计学习理论工具，包括高斯复杂度和 VC 维，分析泛化误差界。
• 将 $\hat{f}$ 和 $\hat{g}$ 的学习过程解耦，使得泛化误差仅依赖于 $\mathcal{F}$ 和 $\mathcal{G}$ 的复杂度，而非最坏情况下的组合复杂度。
• 引入连接度量 $\mathcal{R}(\mathcal{G}, S)$ 和异质性度量 $H(\mu, \mathcal{G})$，以形式化多模态学习获得优势的条件。
• 采用下界构造方法，展示一个困难实例，其中无论选择何种假设类，单模态学习都会产生恒定误差，而多模态学习能够成功。
• 分析显式表示在降低高斯复杂度项中的作用，表明其可比标准组合方法小至 $O(\sqrt{n})$。

实验结果

研究问题

• RQ1 为何多模态学习在评估单模态数据时仍能比单模态学习泛化得更好？
• RQ2 在何种条件下多模态学习能对单模态学习实现可证明的泛化优势？
• RQ3 能否将模态之间‘连接’的启发式概念形式化，以实现理论保证？
• RQ4 在样本复杂度和泛化误差方面，多模态学习与单模态学习之间是否存在根本性分离？
• RQ5 解耦连接函数与预测器函数的学习过程，如何影响泛化误差界？

主要发现

• 多模态 ERM 算法的泛化误差被一个依赖于 $\mathcal{F}$ 和 $\mathcal{G}$ 复杂度的项所界定，相比单模态基线方法，其性能可提升至 $O(\sqrt{n})$。
• 当模态之间同时存在连接（通过 $\mathcal{G}$）和异质性（通过 $\mathcal{F}$）时，该性能提升才会出现。
• 构造了一个困难实例，其中单模态学习无论选择何种假设类，都会产生恒定误差，而多模态学习能够成功，从而证明了严格的分离。
• 由于解耦机制，高斯复杂度项 $G(\mathcal{F}(\hat{X}_t, \hat{Y}_t))$ 相比最坏情况下的组合项可减小至 $O(\sqrt{n})$。
• 该理论解释了实证观察：多模态模型在单模态任务上可超越微调后的单模态模型。
• 该框架为启发式概念‘连接’与‘异质性’与更优统计泛化之间的关系提供了可证明的联系。