[论文解读] Deep Multimodal Representation Learning from Temporal Data

Xitong Yang, Palghat Ramesh+4 more|arXiv (Cornell University)|Apr 11, 2017

Music and Audio Processing参考文献 23被引用 12

一句话总结

本文提出 CorrRNN，一种用于时序多模态表征学习的新型深度学习模型，通过基于 GRU 的编码器-解码器框架，结合多目标损失函数与动态模态加权机制，联合捕捉跨模态相关性与时序依赖性。该模型在语音-视觉语音识别与多模态活动分类任务中取得最先进性能，通过有效融合视频、音频与传感器信号等时序数据，同时对噪声保持鲁棒性。

ABSTRACT

In recent years, Deep Learning has been successfully applied to multimodal learning problems, with the aim of learning useful joint representations in data fusion applications. When the available modalities consist of time series data such as video, audio and sensor signals, it becomes imperative to consider their temporal structure during the fusion process. In this paper, we propose the Correlational Recurrent Neural Network (CorrRNN), a novel temporal fusion model for fusing multiple input modalities that are inherently temporal in nature. Key features of our proposed model include: (i) simultaneous learning of the joint representation and temporal dependencies between modalities, (ii) use of multiple loss terms in the objective function, including a maximum correlation loss term to enhance learning of cross-modal information, and (iii) the use of an attention model to dynamically adjust the contribution of different input modalities to the joint representation. We validate our model via experimentation on two different tasks: video- and sensor-based activity classification, and audio-visual speech recognition. We empirically analyze the contributions of different components of the proposed CorrRNN model, and demonstrate its robustness, effectiveness and state-of-the-art performance on multiple datasets.

研究动机与目标

• 为解决融合多种时序模态（如视频、音频与传感器信号）的挑战，同时保留其内在时序依赖性与跨模态相关性。
• 开发一种通用的无监督深度学习框架，用于时序多模态学习，使其超越语音-视觉数据的适用范围。
• 通过基于模态对联合表征贡献度的动态加权机制，提升对噪声及模态特异性退化问题的鲁棒性。
• 相比 RTMRBM 与 CRBM 等先前的概率模型，实现更高效且可处理的训练过程。
• 在多样化的时序融合任务中（包括活动分类与语音识别）证明模型的有效性。

提出的方法

• 该模型采用基于门控循环单元（GRUs）的编码器-解码器 RNN 架构，以建模多模态序列中的长期时序依赖性。
• 采用多方面损失函数，结合重建损失（用于信息保留）与最大相关性损失（以增强跨模态对齐）。
• 在编码器中集成动态加权机制，根据输入相关性自适应调整各模态在特征学习中的贡献度。
• 联合表征通过无监督方式学习，降低对预训练标签数据的依赖。
• 通过时间反向传播端到端训练模型，目标是最小化重建误差并最大化模态间相关性。
• 通过评估跨模态与共享表征学习，以衡量融合特征的质量与泛化能力。

实验结果

研究问题

• RQ1 深度神经网络是否能比非时序融合模型更有效地联合学习多模态时序数据中的时序依赖性与跨模态相关性？
• RQ2 最大相关性损失项的整合如何改善多模态时序融合中的联合表征学习？
• RQ3 动态模态加权在多大程度上提升了对噪声或不可靠输入模态的鲁棒性？
• RQ4 CorrRNN 模型是否在语音-视觉语音识别之外的多种时序多模态任务中也具备良好的泛化能力？
• RQ5 在准确率与噪声鲁棒性方面，该模型与 RTMRBM、CRBM 与深度自编码器等最先进方法相比表现如何？

主要发现

• 在 AVLetters 数据集上，CorrRNN 达到 83.40% 的分类准确率，显著优于 MDAE（62.04%）、MDBN（63.2%）、MDBM（64.7%）、RTMRBM（66.04%）与 CRBM（67.10%）。
• 在 CUAVE 数据集上，CorrRNN 达到 95.9% 的准确率，超越所有先前方法，包括 MDAE（66.70%）、MDBN（67.20%）、MDBM（69.00%）与 CRBM（69.10%）。
• 在跨模态学习中，当在音频上训练并在视频上测试时，CorrRNN 达到 85.33% 的准确率，展现出强大的泛化能力与跨模态对齐能力。
• 在共享表征学习中，当在双模态上训练并在视频上测试时，CorrRNN 达到 96.77% 的准确率，表明其联合表征学习质量极高。
• 在 0dB 信噪比的白色高斯噪声条件下，CorrRNN 的准确率仅下降 5.23%，而基线模型下降 12–20%，证明其具有优越的鲁棒性。
• 在所有评估设置中，该模型性能均持续领先，证实了其多目标损失函数与动态加权机制的有效性。