[论文解读] Exploring spectro-temporal features in end-to-end convolutional neural networks

Sean Robertson, Gerald Penn+1 more|arXiv (Cornell University)|Jan 1, 2019

Speech Recognition and Synthesis参考文献 34被引用 6

一句话总结

本文探讨了传统梅尔倒谱倒谱图滤波器组的两项改进：用更具时间-频率定位能力的高斯包络或伽马音调滤波器替代三角形滤波器，以及重新排序STFT处理流程以实现更短时间尺度的积分。尽管进行了这些修改，但在TIMIT数据集上使用端到端CNN的实验并未显著提升音素错误率，表明更高分辨率的特征可能无法使已利用完整话语上下文的模型受益。

ABSTRACT

Triangular, overlapping Mel-scaled filters ("f-banks") are the current standard input for acoustic models that exploit their input's time-frequency geometry, because they provide a psycho-acoustically motivated time-frequency geometry for a speech signal. F-bank coefficients are provably robust to small deformations in the scale. In this paper, we explore two ways in which filter banks can be adjusted for the purposes of speech recognition. First, triangular filters can be replaced with Gabor filters, a compactly supported filter that better localizes events in time, or Gammatone filters, a psychoacoustically-motivated filter. Second, by rearranging the order of operations in computing filter bank features, features can be integrated over smaller time scales while simultaneously providing better frequency resolution. We make all feature implementations available online through open-source repositories. Initial experimentation with a modern end-to-end CNN phone recognizer yielded no significant improvements to phone error rate due to either modification. The result, and its ramifications with respect to learned filter banks, is discussed.

研究动机与目标

• 通过用在时带宽积上表现最优的高斯滤波器，或在人类听觉感知上更具生物学合理性的伽马音调滤波器替代标准的三角形梅尔滤波器，以提升传统梅尔倒谱倒谱图滤波器组的时间-频率分辨率。
• 通过在功率谱积分前对滤波器组输出应用时间窗，重新组织STFT处理流程，从而实现更短的积分窗口，保留更精细的时间分辨率。
• 评估这些改进特征在端到端语音识别中的性能表现，特别是音素识别任务中的表现。
• 提供所提特征的开源实现，以确保可复现性并促进更广泛的应用。
• 在近期端到端自动语音识别中学习滤波器组的趋势背景下，探讨这些变化的含义。

提出的方法

• 将标准的三角形梅尔滤波器替换为高斯滤波器（在时带宽积上最优）或伽马音调滤波器（更符合人类听觉感知的生物学特性）。
• 通过在计算功率谱前对滤波器组输出应用时间窗，重新组织STFT处理流程，以最小化窗函数引入的信息损失。
• 在Python包中实现改进的特征提取流程，并将其与COVAREP MATLAB工具箱集成，以提升可用性。
• 基于[39]中的现代端到端CNN架构，使用连接时序分类（CTC）在TIMIT数据集上训练用于音素识别的模型。
• 通过多次随机种子的实验评估性能，以确保统计稳健性。
• 将改进的特征（高斯、伽马音调、短积分）与标准滤波器组及基线模型（包括使用学习滤波器组的模型）进行对比。

实验结果

研究问题

• RQ1 在端到端CNN设置中，用高斯或伽马音调滤波器替代三角形梅尔滤波器是否能提升音素识别性能？
• RQ2 通过在滤波器响应积分后应用窗函数，重新排序STFT处理流程，是否能实现更好的时间-频率分辨率并提升自动语音识别准确率？
• RQ3 当与处理完整话语而非孤立帧的端到端模型结合时，这些特征改进是否有效？
• RQ4 在经过严格的统计检验后，固定的手工设计滤波器组与学习滤波器组的性能表现如何比较？
• RQ5 为何学习滤波器组通常会收敛到类似固定滤波器组的形状？这对我们理解学习滤波器的价值有何启示？

主要发现

• 将三角形梅尔滤波器替换为高斯或伽马音调滤波器，在TIMIT数据集上并未显著改善音素错误率。
• 短积分特征改进（即在更短时间尺度上积分）也未在统计上显著优于标准滤波器组。
• 采用短积分特征的最佳配置达到了17.89%的音素错误率，与先前一项学习滤波器组研究的最佳结果持平。
• 尽管理论上的时间-频率分辨率更高，但改进后的特征并未超越标准滤波器组，表明端到端模型可能对特征层面的分辨率变化不那么敏感。
• 结果表明，端到端模型可能已充分利用完整话语上下文，以至于局部特征分辨率的差异被有效抵消。
• 本研究揭示了特征表示的理论改进与端到端自动语音识别中实际性能增益之间可能存在脱节，尤其是在与学习滤波器组的性能相比时。