[论文解读] Enhanced Factored Three-Way Restricted Boltzmann Machines for Speech Detection

Pengfei Sun, Jun Qin|arXiv (Cornell University)|Nov 1, 2016

Speech and Audio Processing参考文献 18被引用 5

一句话总结

该论文提出了一种增强型因子化三路受限玻尔兹曼机（EFTW-RBMs），通过引入具有自适应加权和阈值压缩的乘法输入分支，以建模语音帧之间的时序相关性，实现语音检测。该方法采用低秩分解和非负正则化，减少参数量并增强特征稀疏性，在噪声环境下的一维和二维语音检测中均表现出优越性能，AUC和SDR指标优于当前最先进方法。

ABSTRACT

In this letter, we propose enhanced factored three way restricted Boltzmann machines (EFTW-RBMs) for speech detection. The proposed model incorporates conditional feature learning by multiplying the dynamical state of the third unit, which allows a modulation over the visible-hidden node pairs. Instead of stacking previous frames of speech as the third unit in a recursive manner, the correlation related weighting coefficients are assigned to the contextual neighboring frames. Specifically, a threshold function is designed to capture the long-term features and blend the globally stored speech structure. A factored low rank approximation is introduced to reduce the parameters of the three-dimensional interaction tensor, on which non-negative constraint is imposed to address the sparsity characteristic. The validations through the area-under-ROC-curve (AUC) and signal distortion ratio (SDR) show that our approach outperforms several existing 1D and 2D (i.e., time and time-frequency domain) speech detection algorithms in various noisy environments.

研究动机与目标

• 通过建模语音帧之间的时序相关性，提升在噪声环境下的语音检测性能。
• 通过低秩分解和非负正则化，降低三路RBMs的模型复杂度。
• 通过引入具有动态加权和阈值处理的乘法输入分支，增强特征表示能力。
• 在时频域中实现鲁棒的语音存在概率（SPP）估计。
• 在AUC和SDR指标上，超越现有的一维和二维语音检测方法。

提出的方法

• 在能量函数中引入乘法型第三分支，通过门控输入机制建模帧间相关性。
• 应用权重系数 α 和阈值压缩函数 𝒮_T，基于局部帧统计信息动态更新和优化输入表示。
• 采用低秩分解将三路交互张量 w_ijk 分解为三个较小矩阵（w^x, w^y, w^h），降低模型参数量。
• 对分解后的矩阵施加非负约束，以解决特征稀疏性问题并增强学习表征的可解释性。
• 通过从隐层反向采样重建语音分量，并生成用于检测的SPP值。
• 对训练和测试数据进行归一化处理，并采用基于动量的学习率调度策略，以实现稳定优化。

实验结果

研究问题

• RQ1 门控三路RBMs架构是否能有效建模语音帧间的时序相关性，从而提升检测性能？
• RQ2 低秩分解在三路RBMs的语音检测中对参数效率和性能有何影响？
• RQ3 非负正则化在噪声条件下在多大程度上改善了特征稀疏性和检测鲁棒性？
• RQ4 所提出的EFTW-RBM在AUC和SDR指标上与现有1D和2D语音检测方法相比表现如何？
• RQ5 增强的输入机制结合自适应加权与阈值处理，是否能提升时频域中的SPP估计性能？

主要发现

• 在5 dB SNR的babble噪声环境下，EFTW-RBMs的平均AUC达到0.88，优于MLP-DNN（0.86）、DBN（0.81）、FTW-RBMs（0.79）和Ying（0.70）。
• 在-5 dB SNR的pink噪声环境下，EFTW-RBMs的AUC达到0.81，优于FTW-RBMs（0.70）和Ying（0.62）。
• 在5 dB SNR的pink噪声环境下，2D SPP估计中EFTW-RBMs的SDR最低，为0.37，优于Gerkmann（0.46）、EM-ML（0.46）和FTW-RBMs（0.45）。
• 该模型在所有三种噪声类型（babble、Gaussian、pink）和所有SNR水平下均表现出一致的优越性，每种配置下的SDR值均为最低。
• 图4的可视化结果表明，EFTW-RBMs在语谱图中更准确地捕捉了语音活动，其SPP值与干净语音幅度高度吻合。
• 通过低秩分解和非负正则化实现的参数压缩，显著提升了模型在噪声环境下的泛化能力和鲁棒性。