[论文解读] Audio-Visual Event Localization via Recursive Fusion by Joint Co-Attention

Bin Duan, Hao Tang+4 more|arXiv (Cornell University)|Aug 14, 2020

Music and Audio Processing参考文献 45被引用 4

一句话总结

本文提出了一种用于音视频事件定位的递归联合共注意机制，通过迭代式的多模态注意机制融合音频与视觉特征，以提升表征学习效果。通过在融合过程中同时关注两种模态，该模型在 AVE 数据集上实现了最先进性能，通过更鲁棒的、相互增强的特征学习超越了先前方法，且无需显式背景过滤。

ABSTRACT

The major challenge in audio-visual event localization task lies in how to fuse information from multiple modalities effectively. Recent works have shown that attention mechanism is beneficial to the fusion process. In this paper, we propose a novel joint attention mechanism with multimodal fusion methods for audio-visual event localization. Particularly, we present a concise yet valid architecture that effectively learns representations from multiple modalities in a joint manner. Initially, visual features are combined with auditory features and then turned into joint representations. Next, we make use of the joint representations to attend to visual features and auditory features, respectively. With the help of this joint co-attention, new visual and auditory features are produced, and thus both features can enjoy the mutually improved benefits from each other. It is worth noting that the joint co-attention unit is recursive meaning that it can be performed multiple times for obtaining better joint representations progressively. Extensive experiments on the public AVE dataset have shown that the proposed method achieves significantly better results than the state-of-the-art methods.

研究动机与目标

• 为解决音视频事件定位中有效多模态融合的挑战，其中噪声或无关特征会降低性能。
• 开发一种融合机制，实现音频与视觉模态之间的双向、联合注意，以提升表征质量。
• 通过设计一种自监督的、递归的注意机制，减少对人工背景过滤的依赖，逐步优化联合表征。
• 将早期与晚期融合策略与注意机制结合，以捕捉音视频序列中的局部与全局时间依赖性。

提出的方法

• 该方法采用双重融合策略：在 Bi-LSTM 处理前通过音频引导的注意机制进行早期融合，随后使用递归联合共注意（JCA）机制进行晚期融合。
• 联合共注意通过利用两种模态的表征，为音频和视觉特征生成注意掩码，使每种模态能够被另一种模态共同关注。
• JCA 模块被递归应用多次，以迭代方式优化联合表征，逐步提升特征质量。
• 在融合后使用带有残差连接的 Bi-LSTM，以捕捉两种模态中的长程时间依赖性。
• 特征融合通过全连接层实现，而非简单的拼接、相加或相乘，实证表明该方法性能更优。
• 模型使用全局平均池化和注意图来可视化注意定位，表明其能自适应地聚焦于相关的声音与视觉事件。

实验结果

研究问题

• RQ1 与标准融合方法相比，递归联合共注意机制是否能提升音视频事件定位中的多模态表征学习？
• RQ2 使用两种模态特征生成注意掩码的联合共注意机制，是否比独立共注意或自注意机制带来更好的性能？
• RQ3 共注意机制的递归应用如何影响学习表征的质量与定位准确率？
• RQ4 所提方法是否能在不依赖人工过滤背景片段的情况下实现更优性能？

主要发现

• 所提方法在公开的 AVE 数据集上实现了最先进性能，显著超越现有最先进方法。
• 随着递归融合步数的增加，递归联合共注意机制的性能持续提升，验证了迭代优化的有效性。
• 使用全连接层进行融合相比简单的操作（如相加、相乘或拼接）实现了 2.1% 的性能增益。
• 消融实验确认，带有残差连接的 Bi-LSTM 对性能影响最大，凸显了全局时间建模的重要性。
• 定性结果表明，该模型能自适应地定位多样化的音视频事件，如直升机、吉他、狗叫和哭泣的儿童，即使在复杂场景中亦然。
• 当视觉线索重新出现时，模型能成功恢复对事件的注意，例如在表演者重新回到画面后检测到吉他。