[论文解读] Efficient Implementation of the Room Simulator for Training Deep Neural Network Acoustic Models

Chanwoo Kim, Ehsan Variani+2 more|arXiv (Cornell University)|Dec 9, 2017

Speech and Audio Processing参考文献 32被引用 3

一句话总结

本文提出了一种基于CPU的高效房间仿真器实现，采用FFTW3加速的重叠-相加（OLA）滤波方法，用于加速深度神经网络语音模型的训练数据生成。通过将房间脉冲响应（RIR）截断至相对于峰值功率低于20 dB，该方法将CPU使用率从80%降低至9.69%，并在谷歌的分布式训练基础设施上实现了37.3倍的加速，且在模拟或重新录制的远场测试集上未降低语音识别准确率。

ABSTRACT

In this paper, we describe how to efficiently implement an acoustic room simulator to generate large-scale simulated data for training deep neural networks. Even though Google Room Simulator in [1] was shown to be quite effective in reducing the Word Error Rates (WERs) for far-field applications by generating simulated far-field training sets, it requires a very large number of Fast Fourier Transforms (FFTs) of large size. Room Simulator in [1] used approximately 80 percent of Central Processing Unit (CPU) usage in our CPU + Graphics Processing Unit (GPU) training architecture [2]. In this work, we implement an efficient OverLap Addition (OLA) based filtering using the open-source FFTW3 library. Further, we investigate the effects of the Room Impulse Response (RIR) lengths. Experimentally, we conclude that we can cut the tail portions of RIRs whose power is less than 20 dB below the maximum power without sacrificing the speech recognition accuracy. However, we observe that cutting RIR tail more than this threshold harms the speech recognition accuracy for rerecorded test sets. Using these approaches, we were able to reduce CPU usage for the room simulator portion down to 9.69 percent in CPU/GPU training architecture. Profiling result shows that we obtain 22.4 times speed-up on a single machine and 37.3 times speed up on Google's distributed training infrastructure.

研究动机与目标

• 降低远场语音识别深度学习训练过程中房间仿真带来的高CPU开销。
• 解决使用卷积RIR滤波生成大规模模拟远场训练数据时的计算瓶颈问题。
• 研究RIR截断对语音识别性能的影响，以优化计算效率。
• 通过最小化CPU/GPU架构中房间仿真器的计算开销，实现可扩展的分布式训练。

提出的方法

• 使用开源FFTW3库实现基于重叠-相加（OLA）的高效滤波方法，以加速卷积运算。
• 采用镜像法在具有反射壁面的三维长方体房间中建模房间脉冲响应（RIR），结合虚拟声源和基于距离的路径损耗。
• 对反射系数和声源位置采用随机分布，以在每轮训练中生成多样化的声学环境。
• 将RIR截断至其功率低于峰值幅度20 dB的点，以减少计算量而不损失准确性。
• 将优化后的仿真器集成到CPU/GPU训练流水线中，使其在特征提取和GPU上的模型训练前生成模拟语音样本。
• 在单机和谷歌Borg集群上对CPU使用率和加速比进行性能分析，以验证性能改进。

实验结果

研究问题

• RQ1 在远场场景中，维持语音识别准确率所需的最小RIR长度是多少？
• RQ2 将RIR截断至某一功率阈值以下，对模拟和真实世界重新录制测试集上的识别性能有何影响？
• RQ3 在CPU/GPU训练流水线中，使用FFTW3的OLA滤波方法能在多大程度上降低CPU使用率？
• RQ4 在不降低模型准确率的前提下，是否可在分布式训练环境中实现显著加速？

主要发现

• 将RIR截断至相对于峰值功率低于20 dB时，对模拟和重新录制的远场测试集上的词错误率（WER）无显著影响。
• 将RIR截断至相对于峰值功率低于5 dB会显著损害识别准确率，尤其是在混响条件下，表明RIR的长尾分量对鲁棒性至关重要。
• 使用FFTW3优化的OLA滤波方法，将CPU/GPU训练架构中房间仿真器的CPU使用率从80%降低至9.69%。
• 该方法在单机上实现22.4倍加速，在谷歌的分布式Borg集群上实现37.3倍加速。
• 性能提升主要归因于RIR截断带来的FFT计算减少，以及FFTW3实现的高效OLA滤波。
• 该方法可在不损害模型准确率的前提下，实现可扩展的、高吞吐量的远场语音识别数据增强。