Skip to main content
QUICK REVIEW

[论文解读] MMPareto: Boosting Multimodal Learning with Innocent Unimodal Assistance

Yake Wei, Di Hu|arXiv (Cornell University)|May 28, 2024
Speech and dialogue systemsComputer Science被引用 5
一句话总结

Introduces MMPareto,一种结合单模态与多模态损失的梯度整合方法,旨在避免冲突并提升泛化,在不同模态上提升多模态与单模态性能。它在多数据集上分析性地解释了在多模态设置中的 Pareto 整合的不足,并展示了更优的结果。

ABSTRACT

Multimodal learning methods with targeted unimodal learning objectives have exhibited their superior efficacy in alleviating the imbalanced multimodal learning problem. However, in this paper, we identify the previously ignored gradient conflict between multimodal and unimodal learning objectives, potentially misleading the unimodal encoder optimization. To well diminish these conflicts, we observe the discrepancy between multimodal loss and unimodal loss, where both gradient magnitude and covariance of the easier-to-learn multimodal loss are smaller than the unimodal one. With this property, we analyze Pareto integration under our multimodal scenario and propose MMPareto algorithm, which could ensure a final gradient with direction that is common to all learning objectives and enhanced magnitude to improve generalization, providing innocent unimodal assistance. Finally, experiments across multiple types of modalities and frameworks with dense cross-modal interaction indicate our superior and extendable method performance. Our method is also expected to facilitate multi-task cases with a clear discrepancy in task difficulty, demonstrating its ideal scalability. The source code and dataset are available at https://github.com/GeWu-Lab/MMPareto_ICML2024.

研究动机与目标

  • 解决单模态目标可能与多模态训练冲突的失衡多模态学习问题。
  • 分析传统 Pareto 整合在多模态设置下可能如何损害泛化。
  • 提出一种梯度整合方法,能够提供无干扰的单模态辅助并增强泛化。
  • 在多种模态和框架下证明其有效性,并展示对多任务设置的可扩展性。

提出的方法

  • 刻画梯度特性:多模态梯度的幅值和协方差通常小于单模态梯度。
  • 为多模态学习公式化 Pareto 整合,在非负约束下最小化梯度的凸组合范数。
  • 指出在多模态场景下传统 Pareto 的失败原因:梯度幅值差异和协方差效应。
  • 引入 MMPareto:通过 Pareto 上界自适应梯度方向并缩放幅值,以增强 SGD 噪声并促进更平坦的极小值。
  • 通过梯度余弦相似度区分冲突与非冲突情形;在冲突情形下,导出幅值缩放以增强最终梯度;在非冲突情形下,使用等权重以提升噪声强度。
  • 给出收敛性讨论,展示在所提出方案下的 Pareto-稳定性。

实验结果

研究问题

  • RQ1为多任务学习设计的 Pareto 梯度整合在多模态设置下是否会由于梯度幅值与协方差差异而恶化优化?
  • RQ2如何同时管理梯度方向与幅值,以提供无干扰的单模态辅助同时改善泛化?
  • RQ3MMPareto 是否在不同模态和骨干网络上持续提升多模态和单模态性能?

主要发现

  • 与单模态基线和其他不平衡多模态方法相比,MMPareto 在数据集(CREMA-D、Kinetics Sounds)上实现了更高的多模态准确率。
  • 传统 Pareto 整合可能通过产生更尖的极值点来恶化泛化,因为 SGD 噪声差异。
  • MMPareto 提供非冲突梯度方向和增强幅值,带来更平坦的损失景观和更好的泛化。
  • 在基于 Transformer 的 MBT 设置中,MMPareto 保持强劲的多模态结果,同时改进单模态性能,有时甚至超越独立训练的单模态模型。
  • 该方法在存在明显任务难度差异的多任务设置中也能扩展,表明具有广泛适用性。
  • 实证结果显示 MMPareto 在多个基准上优于当前方法,如 G-Blending、OGM-GE、Greedy、PMR 和 AGM。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。