[論文レビュー] Fast Algorithms for Convolutional Neural Networks

Andrew Lavin, Scott Gray|arXiv (Cornell University)|Sep 30, 2015

Advanced Neural Network Applications参考文献 12被引用数 78

ひとこと要約

この論文は、3×3フィルタに対して最小フィルタリングを活用することで、算術的複雑性を最大4倍まで低減するウィノグラードに基づく高速畳み込みアルゴリズムを導入する。この手法は、NVIDIA Maxwell GPU上でバッチサイズ1～64の範囲で、状態を凌駕するスループットを達成し、fp16では最大2.64倍、fp32では最大2.26倍の速度向上を達成する。メモリ使用量は最小限（≤16MB）であり、高い数値的精度を維持する。

ABSTRACT

Deep convolutional neural networks take GPU days of compute time to train on large data sets. Pedestrian detection for self driving cars requires very low latency. Image recognition for mobile phones is constrained by limited processing resources. The success of convolutional neural networks in these situations is limited by how fast we can compute them. Conventional FFT based convolution is fast for large filters, but state of the art convolutional neural networks use small, 3x3 filters. We introduce a new class of fast algorithms for convolutional neural networks using Winograd's minimal filtering algorithms. The algorithms compute minimal complexity convolution over small tiles, which makes them fast with small filters and small batch sizes. We benchmark a GPU implementation of our algorithm with the VGG network and show state of the art throughput at batch sizes from 1 to 64.

研究の動機と目的

• 自己走行車やモバイルデバイスなどの低レイテンシ応用に求められる、深層CNNの推論および学習における性能ボトルネックを解消すること。
• 現代のアーキテクチャ（例：VGG）で一般的な小規模フィルタおよび小規模バッチサイズにおいて、従来のFFTおよび直接畳み込み手法の非効率性を克服すること。
• 算術的複雑性を低減しつつ、高い数値的精度を維持し、メモリ効率の高い畳み込みアルゴリズムを開発すること。
• 大バッチ最適化に依存せずに、最小バッチサイズ（1～64）での高スループット推論を可能にすること。
• 実世界のCNN（例：VGG）におけるウィノグラードベース畳み込みの実用的GPU加速を実証し、cuDNNなどの既存ライブラリを上回ること。

提案手法

• 2次元畳み込みを、最小フィルタリングのウィノグラード法を用いて、乗算複雑性を低減して計算する。特にF(2×2,3×3)およびF(4×4,3×3)が用いられ、出力サイズm×n、フィルタサイズr×sに対して、(m+r−1)(n+s−1)回の乗算で実現される。
• 畳み込みを行列演算に再定式化する：Y = Aᵀ[(Gg)⊙(Bᵀd)]。ここでGgおよびBᵀdは変換されたフィルタおよび入力データであり、効率的な密行列乗算を可能にする。
• 2つのバリアントを採用：グローバルワークスペースを必要としない統合変換（fused transform）と外部フィルタ変換（FX）。前者は小規模～中規模のフィルタ・チャネル数に最適である。
• 直接畳み込みと比較して、算術的複雑性を最大4倍まで低減し、ほとんどの演算が高性能な密行列乗算に集中する。
• 事前計算された変換行列A、B、Gを用いることで、fp16でも精度損失が最小限に抑えられ、数値的に安定した計算が可能になる。
• NVIDIA Maxwell GPUに最適化されており、高いメモリ帯域幅利用率と低メモリフットプリント（≤16MBのワークスペース）を実現している。

実験結果

リサーチクエスチョン

• RQ1 VGGのような現代のCNNにおいて、小バッチ・小フィルタ畳み込みにウィノグラードベースの最小フィルタリングアルゴリズムが優れたスループットを達成できるか？
• RQ2 さまざまなバッチサイズ（1～64）において、ウィノグラード畳み込みはFFTベースおよび直接畳み込みと比較してどの程度の性能を示すか？
• RQ3 ウィノグラードベース畳み込みのメモリおよび精度のオーバーヘッドは何か？実用的導入のためには最小限に抑えることができるか？
• RQ4 fp16データを用いた場合、直接畳み込みと比較してアルゴリズムの数値的精度は保持されるか？
• RQ5 より大きなフィルタバンクやレイヤーに拡張した場合、性能劣化が生じないか？

主な発見

• F(2×2,3×3)ウィノグラードアルゴリズムは、バッチサイズ1、fp32データでcuDNNを2.26倍高速化し、7.03 TFLOPSに達した。
• バッチサイズ8、fp16データでは9.57 TFLOPSを達成し、cuDNN比で7.42倍の高速化を実現した。
• 統合F(2×2,3×3)バリアントはグローバルワークスペースを一切使用せず、FXバリアントは最大16MBのメモリ使用量に留まり、cuDNNの2.6GBと比べて顕著に少なかった。
• VGGの全レイヤーにおいてcuDNNを上回ったが、conv1.1を除き、合計計算量の0.5%未満にしか寄与しなかった。
• fp16データ、バッチサイズ64ではF(2×2,3×3)が10.28 TFLOPSを達成し、cuDNN比で1.63倍の高速化を実現した。
• fp32データではF(2×2,3×3)の最大要素誤差が直接畳み込みより低く、fp16データではすべてのアルゴリズムが同等の精度を示した。