[论文解读] AENet: Learning Deep Audio Features for Video Analysis

Naoya Takahashi, Michael Gygli+1 more|arXiv (Cornell University)|Jan 3, 2017

Music and Audio Processing参考文献 8被引用 5

一句话总结

本文提出AENet，一种具有大时间感受野的深度卷积神经网络，用于从原始音频中端到端学习音频事件特征。通过利用一种新颖的数据增强技术并在大规模、多样化的音频事件数据集上进行训练，AENet在音频事件检测任务上实现了16%的性能提升，并在与视觉特征融合后，将视频精彩片段检测性能提高了8%以上，展示了其在视频分析任务中的强大迁移能力和泛化性能。

ABSTRACT

We propose a new deep network for audio event recognition, called AENet. In contrast to speech, sounds coming from audio events may be produced by a wide variety of sources. Furthermore, distinguishing them often requires analyzing an extended time period due to the lack of clear sub-word units that are present in speech. In order to incorporate this long-time frequency structure of audio events, we introduce a convolutional neural network (CNN) operating on a large temporal input. In contrast to previous works this allows us to train an audio event detection system end-to-end. The combination of our network architecture and a novel data augmentation outperforms previous methods for audio event detection by 16%. Furthermore, we perform transfer learning and show that our model learnt generic audio features, similar to the way CNNs learn generic features on vision tasks. In video analysis, combining visual features and traditional audio features such as MFCC typically only leads to marginal improvements. Instead, combining visual features with our AENet features, which can be computed efficiently on a GPU, leads to significant performance improvements on action recognition and video highlight detection. In video highlight detection, our audio features improve the performance by more than 8% over visual features alone.

研究动机与目标

• 为解决视频分析中缺乏能够捕捉长期时间结构（超越语音）的通用、判别性音频特征的问题。
• 开发一种能够端到端建模持续数秒的音频事件的深度CNN架构，同时保留时间顺序。
• 构建一个大规模、多样化的音频事件数据集，适用于训练通用音频表征。
• 通过融合视觉特征与学习到的音频特征，提升视频分析性能，特别是在动作识别和精彩片段检测方面。
• 证明通过AENet学习到的音频特征在各类视频分析任务中具有良好泛化能力，类似于视觉领域的迁移学习。

提出的方法

• AENet采用深度CNN结构，最多9层，具有大输入感受野，用于建模长时间音频事件，支持在长时长片段上进行端到端训练。
• 网络使用小卷积核和深层结构，以捕捉数秒音频中的精细频谱和时间模式。
• 提出一种新颖的数据增强方法，以提升泛化能力并减少过拟合，尤其在训练数据有限的情况下。
• 从AENet的最终卷积层提取音频特征，并将其作为下游视频任务的通用表征。
• 在视频分析中，通过晚期融合方式将AENet特征与C3D视觉特征结合，以提升性能。
• 评估了多种损失函数（包括排序损失、Huber损失和多实例排序损失，MIRank），以在噪声大、弱标签数据下优化训练。

实验结果

研究问题

• RQ1 具有大时间感受野的深度CNN能否有效从原始音频中学习到适用于视频分析的判别性音频事件特征？
• RQ2 数据增强对音频事件识别模型的泛化能力和性能有何影响？
• RQ3 与传统音频特征或仅使用视觉特征相比，AENet特征在视频精彩片段检测中的提升程度如何？
• RQ4 AENet学习到的音频特征在音频事件检测之外的下游视频任务中是否具有良好泛化能力？
• RQ5 在噪声大、弱标签数据下，训练音频事件识别模型的最优损失函数是什么？

主要发现

• AENet在音频事件检测任务上的性能相比之前最先进方法实现了16%的相对提升，证明了其优越的特征学习能力。
• 使用MIRank损失函数在精彩片段检测任务上达到最高的mAP（56.6%），优于其他损失函数。
• 将AENet特征与C3D视觉特征融合后，视频精彩片段检测性能平均比仅使用视觉特征提升8.6%。
• 定性结果表明，AENet特征能有效捕捉关键音频线索（如脚步声、跳跃撞击声），从而实现更精确的精彩片段定位。
• 该模型泛化能力良好：AENet特征在动作识别和精彩片段检测任务中均提升了性能，表明其在各类视频分析任务中具有良好的迁移性。
• 所提出的数据增强方法显著提升了性能，尤其在数据量较少的场景下，通过增强模型鲁棒性实现性能提升。