[论文解读] Balanced Multimodal Learning via On-the-fly Gradient Modulation

Xiaokang Peng, Yake Wei+3 more|arXiv (Cornell University)|Mar 29, 2022

Advanced Image and Video Retrieval Techniques被引用 12

一句话总结

本文提出了一种即插即用的梯度调制与泛化增强方法（OGM-GE），通过基于模态贡献差异的动态梯度调制来平衡多模态模型的优化，同时注入自适应高斯噪声以保持泛化能力。该方法在多个多模态基准上实现了稳定的性能提升，尤其显著改善了优化不足的模态表征，且无需修改网络架构。

ABSTRACT

Multimodal learning helps to comprehensively understand the world, by integrating different senses. Accordingly, multiple input modalities are expected to boost model performance, but we actually find that they are not fully exploited even when the multimodal model outperforms its uni-modal counterpart. Specifically, in this paper we point out that existing multimodal discriminative models, in which uniform objective is designed for all modalities, could remain under-optimized uni-modal representations, caused by another dominated modality in some scenarios, e.g., sound in blowing wind event, vision in drawing picture event, etc. To alleviate this optimization imbalance, we propose on-the-fly gradient modulation to adaptively control the optimization of each modality, via monitoring the discrepancy of their contribution towards the learning objective. Further, an extra Gaussian noise that changes dynamically is introduced to avoid possible generalization drop caused by gradient modulation. As a result, we achieve considerable improvement over common fusion methods on different multimodal tasks, and this simple strategy can also boost existing multimodal methods, which illustrates its efficacy and versatility. The source code is available at \url{https://github.com/GeWu-Lab/OGM-GE_CVPR2022}.

研究动机与目标

• 解决多模态学习中的优化不平衡问题，即某一模态主导训练过程而另一模态被欠优化。
• 提升联合多模态模型中单模态编码器的表征质量，即使联合模型性能优于单模态基线模型。
• 开发一种即插即用的策略，增强现有融合方法，且不引入架构或训练开销。
• 通过引入自适应噪声，在梯度调制过程中保持模型的泛化能力。

提出的方法

• 即插即用梯度调制（OGM）在训练过程中动态监测每个模态对联合损失的贡献差异。
• 梯度调制根据该差异调整各模态的优化强度，使优化不足的模态获得更多的更新。
• 泛化增强（GE）通过注入动态变化的高斯噪声，抵消因梯度调制导致的随机梯度噪声减少。
• 该方法兼容标准优化器（如SGD和Adam），可应用于标准早期融合架构及高级融合架构。
• 噪声强度根据学习率和批量大小进行调整，以保持与泛化性能的正相关性。
• 该方法在端到端联合训练过程中应用，无需额外分类器或预训练步骤。

实验结果

研究问题

• RQ1 为何在联合模型性能优于单模态模型时，多模态模型中的单模态表征仍保持欠优化状态？
• RQ2 如何自适应地调节梯度流，以在多模态学习设置中平衡各模态的优化？
• RQ3 梯度调制对模型泛化能力有何影响，如何进行缓解？
• RQ4 所提出的方法能否普遍适用于不同优化器、融合策略和数据集？

主要发现

• 在VGGSound数据集上，OGM-GE将视觉模态性能从49.1%提升至50.6%，音频模态从49.1%提升至50.6%（使用SGD），表明两种模态均获得一致提升。
• 在CREMA-D数据集上，OGM-GE在SGD下将性能从51.7%提升至61.9%，在Adam下从49.7%提升至54.6%，证明其在不同优化器下均有效。
• 在相同训练设置下，加入噪声后，OGM-GE将VGGSound性能从48.3%提升至50.3%，CREMA-D从50.4%提升至60.2%。
• 较小的批量大小和较大的学习率带来更好的性能，验证了噪声强度与泛化能力之间的理论关联。
• 该方法在四种多模态数据集（包括Kinetics-Sounds和VGGSound）上均实现一致性能提升，适用于标准和高级融合方法。
• OGM-GE在SGD和Adam优化器下均表现有效，展现出广泛的兼容性与即插即用的实用性。