[论文解读] Interpretable Convolutional Filters with SincNet

Mirco Ravanelli, Yoshua Bengio|arXiv (Cornell University)|Nov 23, 2018

Time Series Analysis and Forecasting参考文献 67被引用 93

一句话总结

简要结论：SincNet 引入一个带参数化 sinc 基的第一层卷积滤波器，以直接从原始波形学习紧凑、可解释且为任务调整的滤波组，相较于标准 CNN，在说话人及语音识别任务中具有更快的收敛速度和更好的性能。

ABSTRACT

Deep learning is currently playing a crucial role toward higher levels of artificial intelligence. This paradigm allows neural networks to learn complex and abstract representations, that are progressively obtained by combining simpler ones. Nevertheless, the internal "black-box" representations automatically discovered by current neural architectures often suffer from a lack of interpretability, making of primary interest the study of explainable machine learning techniques. This paper summarizes our recent efforts to develop a more interpretable neural model for directly processing speech from the raw waveform. In particular, we propose SincNet, a novel Convolutional Neural Network (CNN) that encourages the first layer to discover more meaningful filters by exploiting parametrized sinc functions. In contrast to standard CNNs, which learn all the elements of each filter, only low and high cutoff frequencies of band-pass filters are directly learned from data. This inductive bias offers a very compact way to derive a customized filter-bank front-end, that only depends on some parameters with a clear physical meaning. Our experiments, conducted on both speaker and speech recognition, show that the proposed architecture converges faster, performs better, and is more interpretable than standard CNNs.

研究动机与目标

• 在基于波形的语音模型中提升可解释性并减少对手工特征的依赖。
• 提出第一层卷积使用参数化 sinc 函数实现可学习的带通滤波器。
• 在说话人和语音识别任务上展示相较标准 CNN 更快的收敛速度和更高的准确率。
• 展示学习到的滤波组在可解释性和对语音特征的任务调优方面更具优势。

提出的方法

• 定义第一层 g[n, f1, f2] 为由低/高截止频率的 sinc 基差形成的带通滤波器（等式 3-4）。
• 对每个滤波器仅用两个截止频率(f1, f2)进行参数化，并应用对称的窗口化（Hamming）设计以控制波动和衰减（等式 5-8）。
• 限制滤波器对称以避免相位畸变并实现高效计算。
• 在标准 CNN 流水线（池化、归一化、激活、 dropout）后端通过端到端的 SGD 训练所有参数，辅以任务特定的层。
• 在 [0, fs/2] 区间随机初始化截止频率，或采用与梅尔尺度相关的值，以在较低频率分配更多滤波器。
• 在说话人和语音识别任务（TIMIT、Librispeech、DIRHA）下，在干净与嘈杂条件下进行评估。

实验结果

研究问题

• RQ1 第一种基于 sinc 的第一层参数化是否比标准可学习 FIR 更具可解释性、与任务相关的滤波器？
• RQ2 在有限训练数据条件下，SincNet 是否实现更快的收敛和更好的泛化能力？
• RQ3 学习到的滤波组相较传统 CNN，如何对噪声与共振峰进行自适应？
• RQ4 使用 sinc 基滤波器在参数效率与可解释性方面有哪些实际好处？
• RQ5 SincNet 在 DIRHA 数据集证明的远场/嘈杂环境下是否鲁棒？

主要发现

• SincNet 学得的滤波组更具可解释性，其频率响应类似于有意义的语音带（如共振峰、基音区）。
• SincNet 相较于标准 CNN 收敛更快，在说话人识别任务（如 TIMIT）上达到更低的帧错误率，在 LibriSpeech 上表现具有竞争力。
• SincNet 第一层使用的参数更少（2F 对比 F×L），随着滤波器长度 L 增长保持高效。
• 在嘈杂条件下，SincNet 能快速避开被污染的带（如 2.0–2.5 kHz），并在训练早期集中于信息丰富的带。
• 在说话人验证（Librispeech）上，SincNet 的等效错误率低于基线的 CNN，有更紧凑前端的判别力。
• 在语音识别（TIMIT、DIRHA）上，SincNet-Raw 的表现优于 CNN-FBANK 和 CNN-Raw 基线，甚至在远场场景中也如此。