[论文解读] High-Modality Multimodal Transformer: Quantifying Modality & Interaction Heterogeneity for High-Modality Representation Learning

Paul Pu Liang, Yiwei Lyu+7 more|arXiv (Cornell University)|Mar 2, 2022

Speech and dialogue systems被引用 4

一句话总结

该论文提出 HighMMT，一种多模态变换器模型，通过使用信息论度量量化模态和交互异质性，实现对 10 种不同模态的扩展。通过测量模态之间以及模态对之间的可转移信息，HighMMT 实现动态参数共享，改善性能与效率之间的权衡，并实现对低资源和未见模态及任务的有效跨模态迁移学习。

ABSTRACT

Many real-world problems are inherently multimodal, from spoken language, gestures, and paralinguistics humans use to communicate, to force, proprioception, and visual sensors on robots. While there has been an explosion of interest in multimodal learning, these methods are focused on a small set of modalities primarily in language, vision, and audio. In order to accelerate generalization towards diverse and understudied modalities, this paper studies efficient representation learning for high-modality scenarios involving a large set of diverse modalities. Since adding new models for every new modality becomes prohibitively expensive, a critical technical challenge is heterogeneity quantification: how can we measure which modalities encode similar information and interactions in order to permit parameter sharing with previous modalities? This paper proposes two new information theoretic metrics for heterogeneity quantification: (1) modality heterogeneity studies how similar 2 modalities {X1,X2} are by measuring how much information can be transferred from X1 to X2, while (2) interaction heterogeneity studies how similarly pairs of modalities {X1,X2}, {X3,X4} interact by measuring how much information can be transferred from fusing {X1,X2} to {X3,X4}. We show the importance of these 2 proposed metrics as a way to automatically prioritize the fusion of modalities that contain unique information or interactions. The result is a single model, HighMMT, that scales up to 10 modalities (text, image, audio, video, sensors, proprioception, speech, time-series, sets, and tables) and 15 tasks from 5 research areas. Not only does HighMMT outperform prior methods on the tradeoff between performance and efficiency, it also demonstrates a crucial scaling behavior: performance continues to improve with each modality added, and it transfers to entirely new modalities and tasks during fine-tuning.

研究动机与目标

• 解决在涉及大量多样化模态（超越传统语言、视觉和音频）的高模态场景中高效表征学习的挑战。
• 量化模态相似性和交互模式的异质性，以实现在相似模态和融合模式之间智能的参数共享。
• 开发一个统一的模型，能够在多样化任务和模态之间泛化，同时保持高性能和高效率。
• 实现在低资源和部分可观测设置下的有效跨模态迁移学习。
• 提供一个标准化、可扩展的框架，用于多模态表征学习，支持未来研究并推广至研究不足的模态。

提出的方法

• 提出两种信息论度量：模态异质性，用于衡量从一个模态向另一个模态可转移的信息量；交互异质性，用于衡量融合模态对之间的可转移性。
• 利用这些度量动态分组模态和融合模式，基于信息内容和交互动态的相似性，实现选择性参数共享。
• 设计单一的 HighMMT 模型架构，在模态和任务之间共享单模态和多模态编码器参数，同时使用模态特定的嵌入以提升性能。
• 采用多任务学习，结合跨 15 项多样化任务（涵盖 5 个研究领域）的加权损失函数，以稳定训练并提升泛化能力。
• 通过在源任务上预训练并在新目标模态和任务上微调来应用迁移学习，展示了强大的零样本和少样本迁移能力。
• 引入任务特定的损失加权机制，以处理不同尺度的预测目标（例如，MSE 与准确率），从而提升训练稳定性和性能。

实验结果

研究问题

• RQ1 在高模态设置下，如何度量模态及其交互的相似性，以实现有效的参数共享？
• RQ2 模态和交互异质性的信息论度量能否指导多模态模型中的动态参数共享？
• RQ3 在多样化模态和任务上训练的统一 HighMMT 模型，是否在性能和效率方面优于特定任务的最先进模型？
• RQ4 HighMMT 通过迁移学习在多大程度上能泛化到新的、未见过的模态和任务？
• RQ5 在具有异质性目标和部分可观测性的情况下，多任务学习如何影响模型的泛化能力和鲁棒性？

主要发现

• 与特定任务的最先进模型以及完全共享的多模态模型相比，HighMMT 在性能与效率权衡方面表现出更优的性能。
• 随着每种新模态的加入，性能持续提升，表明其具备强大的可扩展性和增量学习优势。
• 在微调过程中，模型成功地将知识迁移至此前未见过的新模态和任务，尤其在低资源设置下表现显著。
• 当预训练包含更广泛的源任务时，跨模态迁移能力显著增强，尤其在低资源目标上提升最为明显。
• 经过良好调优的任务加权可改善训练动态并减少过拟合，表明多任务学习具有正则化效应。
• 即使不使用模态特定的嵌入，共享的单模态编码器也能实现强大性能，表明其学习到了可泛化的、模态无关的特征。