[论文解读] XFlow: 1D-2D Cross-modal Deep Neural Networks for Audiovisual Classification.

Cătălina Cangea, Petar Veličković+1 more|arXiv (Cornell University)|Sep 2, 2017

Music and Audio Processing被引用 3

一句话总结

XFlow 提出两种一维-二维跨模态深度神经网络，可在模态特定特征学习之前实现音频与视觉流之间的双向特征交换，通过跨模态数据流增强表征学习。该模型在 AVLetters 数据集上相较于基线模型最高实现 7.5% 的准确率提升，尽管模态维度不同，仍能有效利用音视频相关性。

ABSTRACT

We propose two multimodal deep learning architectures that allow for cross-modal dataflow (XFlow) between the feature extractors, thereby extracting more interpretable features and obtaining a better representation than through unimodal learning, for the same amount of training data. These models can usefully exploit correlations between audio and visual data, which have a different dimensionality and are therefore nontrivially exchangeable. Our work improves on existing multimodal deep learning metholodogies in two essential ways: (1) it presents a novel method for performing cross-modality (before features are learned from individual modalities) and (2) extends the previously proposed cross-connections, which only transfer information between streams that process compatible data. Both cross-modal architectures outperformed their baselines (by up to 7.5%) when evaluated on the AVletters dataset.

研究动机与目标

• 解决在多模态学习中有效整合具有不同维度的音频与视觉模态的挑战。
• 通过在模态特定特征提取之前实现跨模态信息交换，改进表征学习。
• 克服现有跨连接方法仅适用于兼容数据流的局限性。
• 开发一种新型架构，通过共享的跨模态流提升视听分类中的可解释性与性能。

提出的方法

• 该架构采用一维-二维跨模态连接，允许在各自模态处理之前，实现音频与视觉特征提取器之间的信息流动。
• 跨模态数据流在特征学习之前实现，从而实现互补音视频信号的早期融合。
• 该方法使用专门的一维和二维卷积层分别处理音频（频谱图）和视频（帧），并在两者之间建立跨连接。
• 模型通过端到端训练与共享优化进行训练，使梯度能够通过两个模态及跨连接流动。
• 跨连接设计为非平凡可交换，以适应音频与视觉输入的不同维度。
• 该框架通过在不兼容模态之间实现双向流动，扩展了先前的跨连接方法，提升了特征对齐与表征能力。

实验结果

研究问题

• RQ1 与单模态或晚期融合方法相比，音频与视觉流之间早期的跨模态数据流是否能改善多模态表征学习？
• RQ2 在特征学习之前进行跨模态信息交换，对视听分类任务的模型性能有何影响？
• RQ3 一维（音频）与二维（视觉）模态之间的跨连接在多大程度上能增强特征的可解释性与准确性？
• RQ4 所提出的 XFlow 架构是否在具有相关但结构不同的模态的数据库上优于标准多模态学习基线？
• RQ5 该方法是否能有效利用音视频相关性，尽管模态之间存在固有的维度不匹配？

主要发现

• XFlow 模型在 AVLetters 数据集上的准确率最高比其单模态和基线多模态模型高出 7.5%。
• 所提出的跨模态数据流机制通过在音频与视觉流之间实现早期、双向交换，改善了特征表征。
• 该模型在处理具有不同维度的非平凡可交换模态方面，优于现有跨连接方法。
• 通过在特征学习过程中利用跨模态相关性，该架构成功提取了更具可解释性的特征。
• 性能提升在各项评估中保持一致，证实了跨模态数据流在提升分类性能方面的有效性。