[论文解读] Fast Wavenet Generation Algorithm.

Tom Le Paine, Pooya Khorrami+5 more|arXiv (Cornell University)|Nov 29, 2016

Algorithms and Data Compression参考文献 2被引用 36

一句话总结

本文提出 Fast Wavenet，一种时间复杂度为 O(L) 的算法，通过缓存空洞卷积结果来加速 WaveNet 中的自回归生成，消除冗余计算。与原始的 O(2^L) 方法相比，该方法显著减少了推理时间，适用于任何使用空洞卷积进行在线预测的模型。

ABSTRACT

This paper presents an efficient implementation of the Wavenet generation process called Fast Wavenet. Compared to a naive implementation that has complexity O(2^L) (L denotes the number of layers in the network), our proposed approach removes redundant convolution operations by caching previous calculations, thereby reducing the complexity to O(L) time. Timing experiments show significant advantages of our fast implementation over a naive one. While this method is presented for Wavenet, the same scheme can be applied anytime one wants to perform autoregressive generation or online prediction using a model with dilated convolution layers. The code for our method is publicly available.

研究动机与目标

• 为解决 WaveNet 中自回归生成的高计算成本问题，其计算复杂度随网络深度呈指数级增长。
• 通过重用先前计算的激活值，消除推理过程中冗余的卷积运算。
• 使使用空洞卷积层的模型能够实现高效的在线预测，例如 WaveNet。
• 提供一种可推广的优化技术，不仅适用于 WaveNet，还可应用于任何使用空洞卷积的自回归模型。

提出的方法

• 该方法缓存空洞卷积层的中间激活值，避免在每个时间步重复计算。
• 利用空洞卷积的分层树状结构，高效传播缓存结果。
• 算法维护先前计算输出的运行状态，减少自回归步骤之间的冗余计算。
• 该方法在数学上等价于原始 WaveNet，但将时间复杂度从 O(2^L) 降低为 O(L)。
• 该优化作为通用的推理时转换方法，适用于任何基于空洞卷积的自回归模型。

实验结果

研究问题

• RQ1 能否将自回归 WaveNet 推理的计算复杂度从指数时间降低到线性时间？
• RQ2 在自回归生成过程中，如何消除冗余的空洞卷积运算？
• RQ3 缓存中间结果在空洞卷积网络中能将推理速度提升多少？
• RQ4 所提出的优化方法是否可推广到其他使用空洞卷积进行在线预测的模型？

主要发现

• 所提出的 Fast Wavenet 算法将推理时间复杂度从 O(2^L) 降低到 O(L)，实现了实时自回归生成。
• 定时实验表明，与原始实现相比，推理速度有显著提升，尽管提供的文本中未量化具体基准测试结果。
• 该方法保持与原始 WaveNet 相同的模型输出，确保生成质量无下降。
• 缓存机制在所有层中均有效，消除冗余计算且不引入近似误差。
• 该优化具有通用性，可应用于任何使用空洞卷积进行自回归或在线预测任务的模型。