[论文解读] LEAF: A Learnable Frontend for Audio Classification

Neil Zeghidour, Olivier Teboul+2 more|arXiv (Cornell University)|Jan 21, 2021

Music and Audio Processing参考文献 50被引用 30

一句话总结

LEAF 引入一个完全可学习的音频前端，替代梅尔滤波器组，在多样任务中持续优于它们，参数远少。

ABSTRACT

Mel-filterbanks are fixed, engineered audio features which emulate human perception and have been used through the history of audio understanding up to today. However, their undeniable qualities are counterbalanced by the fundamental limitations of handmade representations. In this work we show that we can train a single learnable frontend that outperforms mel-filterbanks on a wide range of audio signals, including speech, music, audio events and animal sounds, providing a general-purpose learned frontend for audio classification. To do so, we introduce a new principled, lightweight, fully learnable architecture that can be used as a drop-in replacement of mel-filterbanks. Our system learns all operations of audio features extraction, from filtering to pooling, compression and normalization, and can be integrated into any neural network at a negligible parameter cost. We perform multi-task training on eight diverse audio classification tasks, and show consistent improvements of our model over mel-filterbanks and previous learnable alternatives. Moreover, our system outperforms the current state-of-the-art learnable frontend on Audioset, with orders of magnitude fewer parameters.

研究动机与目标

• 以替换手工设计的梅尔滤波器组为普适音频分类的可学习前端提供动机。
• 提出一个轻量、端到端可训练的前端，学习滤波、池化和压缩。
• 展示单个 LEAF 前端在多个任务上能超越梅尔滤波器组和现有可学习前端。
• 展示在大规模 Audioset 和多任务设置中的可扩展性。

提出的方法

• 将前端分解为三个可学习组件：滤波、池化和压缩/归一化。
• 使用通过实部-虚部对表示的复数值一维滤波组，或通过 Gabor 参数化实现可学习滤波。
• 应用逐通道高斯低通池化，作为深度卷积实现。
• 采用可学习的逐通道能量归一化变体（sPCEN）用于逐通道压缩和归一化。
• 端到端训练，使用共享主干编码器，在八个数据集上并在单任务、多任务和 Audioset 设置中评估。

实验结果

研究问题

• RQ1 一个单一、完全可学习的前端是否能在广泛的音频分类任务中优于固定的梅尔滤波组？
• RQ2 共同学习滤波、池化与压缩是否在多任务和大规模设置中提升性能？
• RQ3 LEAF 与先前的可学习前端（如时域滤波组、SincNet）在多样的数据集与指标上有何比较？
• RQ4 逐通道压缩（sPCEN）对性能和鲁棒性的影响如何？

主要发现

• LEAF 在八个单任务数据集上平均超过梅尔滤波器组和先前的可学习前端。
• 在多任务设置中，LEAF 在跨任务的最佳总体性能，同时共享参数，达到甚至超过所有任务的基线。
• 在 Audioset 上，LEAF 与 EfficientNetB0 相比，获得更高的 d-prime，且与 Wavegram 和 SincNet 变体相比具有相当或更好的性能，且参数少得多（例如 LEAF 448 参数对比数十万）。
• 基于 PCEN 的压缩（特别是 sPCEN）显著提升了对数压缩的性能，适用于梅尔-和 LEAF-前端。
• LEAF 对噪声具有鲁棒性，在降噪比条件下表现优于梅尔滤波器组。