[論文レビュー] Fast Generation for Convolutional Autoregressive Models

Prajit Ramachandran, Tom Le Paine+7 more|arXiv (Cornell University)|Apr 20, 2017

Neural Networks and Reservoir Computing参考文献 8被引用数 24

ひとこと要約

この論文では、Wavenet や PixelCNN++ のような畳み込み型自己回帰モデルにおける推論を高速化するキャッシュベースの手法を提案している。以前に計算された隠れ状態を再利用することで、再計算を回避し、冗長な計算を削減する。この手法により、素朴な生成法と比較して、それぞれ最大21倍および183倍の高速化を達成しており、拡張およびストライド付き畳み込みを伴う層ごとのキャッシュを効率的に更新することで実現している。

ABSTRACT

Convolutional autoregressive models have recently demonstrated state-of-the-art performance on a number of generation tasks. While fast, parallel training methods have been crucial for their success, generation is typically implemented in a naïve fashion where redundant computations are unnecessarily repeated. This results in slow generation, making such models infeasible for production environments. In this work, we describe a method to speed up generation in convolutional autoregressive models. The key idea is to cache hidden states to avoid redundant computation. We apply our fast generation method to the Wavenet and PixelCNN++ models and achieve up to $21 imes$ and $183 imes$ speedups respectively.

研究の動機と目的

• 自己回帰型畳み込みモデルの推論速度が遅いため、リアルタイムの本番環境への導入が困難であるという問題に取り組む。
• 自己回帰的生成中に、以前に計算された隠れ状態を層間で再利用することで、冗長な計算を削減する。
• 自己回帰アーキテクチャにおける拡張およびストライド付き畳み込み層に適用可能な汎用的なキャッシュメカニズムを開発する。
• Wavenet や PixelCNN++ といった標準モデルにおいて、モデルアーキテクチャや性能を変更せずに顕著な高速化を示す。
• Wavenet や PixelCNN++ の既存トレーニングコードベースと互換性のあるオープンソース実装を公開する。

提案手法

• 各タイムステップで、受容 field を再計算する代わりに、以前の生成ステップからの隠れ状態をキャッシュする。
• 各層ごとにキュー型キャッシュを用い、最も古い隠れ状態を破棄し、最新のものを追加することで、時間的局所性を維持する。
• 拡張畳み込みにこのキャッシュメカニズムを適用する際、キャッシュサイズを拡張係数に一致させ、正しい入力アラインメントを保証する。
• ストライド付き畳み込みにこの手法を拡張するため、ダウンサンプリング／アップサンプリング要因に応じてキャッシュ更新頻度を調整する 'cache_every' パラメータを導入する。
• PixelCNN++ の推論を最適化する際、垂直ストリームを1行ずつ処理し、水平ストリームの全計算において再利用可能なキャッシュ済み垂直特徴を活用する。
• TensorFlow に最小限の変更でこの手法を実装し、既存のモデルアーキテクチャとの互換性を維持することで、オープンソーストレーニングコードとの統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 受容フィールドが大きな自己回帰モデルにおいて、隠れ状態キャッシュが計算時間を顕著に短縮できるか？
• RQ2 拡張およびストライド付き畳み込み層を含む、さまざまなタイプの畳み込み層において、キャッシュメカニズムはどのようにスケーリングするか？
• RQ3 Wavenet や PixelCNN++ のようなモデルにおいて、生成品質に影響を与えることなく、キャッシュが推論速度をどの程度向上できるか？
• RQ4 特に高スループットの本番環境設定において、バッチサイズの変化に伴うこの手法の性能はいかがであるか？
• RQ5 最小限のコード変更と既存トレーニングパイプラインとの完全な互換性を備えた実装において、このキャッシュアプローチは実際の現場で効率的に実装可能か？

主な発見

• 提案されたキャッシュ手法により、素朴な実装と比較して、Wavenet では最大21倍の推論時間短縮が達成された。
• PixelCNN++ では最大183倍の高速化が達成され、特に大きなバッチサイズ（例：128および256）で顕著に顕著であった。
• バッチサイズが大きくなるほど、冗長な計算が減少するため、高速化が増幅され、高バッチサイズでは素朴な推論と比較して2桁のオーダーの性能向上が得られた。
• この手法は、1ステップあたり線形時間および線形空間計算量を維持する一方で、素朴な自己回帰的生成は指数関数的計算量を要する。
• このキャッシュメカニズムは、1次元（Wavenet）および2次元（PixelCNN++）の両アーキテクチャで、最小限のアーキテクチャ変更で有効である。
• オープンソース実装は、既存のトレーニングコードベースと互換性があり、本番ワークフローへのシームレスな統合を可能にしている。