[论文解读] Dynamic Fusion for Multimodal Data.

Gaurav Sahu, Olga Vechtomova|arXiv (Cornell University)|Nov 10, 2019

Speech Recognition and Synthesis参考文献 11被引用 3

一句话总结

本文提出动态融合网络，通过在推理时学习最优融合策略，自适应地结合多模态数据（如视频、语音和文本），而非使用如拼接等固定操作。该方法包括一种转换网络和基于生成对抗网络（GAN）的正则化器，在机器翻译和情感识别任务中实现了最先进性能，通过更好地建模跨模态上下文实现性能提升。

ABSTRACT

Effective fusion of data from multiple modalities, such as video, speech, and text, is challenging pertaining to the heterogeneous nature of multimodal data. In this paper, we propose dynamic fusion techniques that model context from different modalities efficiently. Instead of defining a deterministic fusion operation, such as concatenation, for the network, we let the network decide how to combine given multimodal features in the most optimal way. We propose two networks: 1) transfusion network, which learns to compress information from different modalities while preserving the context, and 2) a GAN-based network, which regularizes the learned latent space given context from complimenting modalities. A quantitative evaluation on the tasks of machine translation, and emotion recognition suggest that such adaptive networks are able to model context better than all existing methods.

研究动机与目标

• 解决有效融合异构多模态数据（如视频、语音、文本）的挑战。
• 克服如拼接等固定融合方法的局限性，这些方法无法适应不同的上下文依赖关系。
• 开发一种神经网络架构，动态确定不同模态特征的最优组合方式。
• 通过利用模态间的互补信息，改进多模态任务中的上下文建模能力。
• 在下游任务（如机器翻译和情感识别）中实现更优性能。

提出的方法

• 提出一种转换网络，能够在保留上下文信息的同时压缩并融合来自多个模态的特征。
• 引入基于GAN的组件，利用互补模态对潜在空间进行正则化，以提升特征质量。
• 用可学习的、动态的融合机制替代确定性的融合操作，使融合策略能根据输入上下文自适应调整。
• 端到端训练网络，基于输入模态表示优化融合决策。
• 使用对抗性训练，促使潜在表示实现解耦并具有语义意义。
• 允许网络在推理过程中动态学习模态特定的注意力机制和融合权重。

实验结果

研究问题

• RQ1 可学习的融合机制是否能在多模态学习中超越如拼接等固定融合操作？
• RQ2 动态融合在具有多样化输入模态的任务中，对建模跨模态上下文的有效性如何？
• RQ3 基于GAN的正则化在多大程度上提升了融合潜在空间的质量？
• RQ4 动态融合是否能在下游任务（如机器翻译和情感识别）中带来性能提升？
• RQ5 网络是否能基于输入特定的上下文自适应调整融合策略，而非依赖固定架构？

主要发现

• 所提出的动态融合网络在机器翻译和情感识别基准测试中均达到最先进性能。
• 转换网络能有效压缩并融合多模态特征，同时保留关键的上下文信息。
• 基于GAN的正则化器提升了所学习潜在表示的解耦性和语义质量。
• 动态融合在建模跨模态上下文方面优于所有现有的固定融合基线方法。
• 网络学习到的模态特定融合权重随输入变化，实现了上下文感知的特征组合。
• 定量评估结果证实了在机器翻译和情感识别任务中均表现出更优性能。