[論文レビュー] Fast Training of Convolutional Networks through FFTs

Michaël Mathieu, Mikael Henaff+1 more|arXiv (Cornell University)|Dec 20, 2013

Advanced Neural Network Applications参考文献 7被引用数 302

ひとこと要約

この論文では、畳み込みをフーリエ領域におけるポイントワイズ積として計算し、複数の演算にわたって変換済み特徴マップを再利用することで、畳み込みニューラルネットワークの学習および推論を高速化するFFTベースのアルゴリズムを提案する。この手法は、最先端の実装と比較して、特に勾配計算および大規模カーネルに対しては1桁以上の高速化を達成する。

ABSTRACT

Convolutional networks are one of the most widely employed architectures in computer vision and machine learning. In order to leverage their ability to learn complex functions, large amounts of data are required for training. Training a large convolutional network to produce state-of-the-art results can take weeks, even when using modern GPUs. Producing labels using a trained network can also be costly when dealing with web-scale datasets. In this work, we present a simple algorithm which accelerates training and inference by a significant factor, and can yield improvements of over an order of magnitude compared to existing state-of-the-art implementations. This is done by computing convolutions as pointwise products in the Fourier domain while reusing the same transformed feature map many times. The algorithm is implemented on a GPU architecture and addresses a number of related challenges.

研究の動機と目的

• 現代のGPUですら数週間を要する大規模な畳み込みネットワークの学習にかかる計算コストの高さに対処すること。
• ウェブ規模の画像ラベル付けのような大規模データセットにおける推論時間を短縮すること、ここではラベル予測が計算的に高コストである。
• バックプロパゲーションにおけるすべての主要な演算（順伝播、勾配計算、重み更新）を高速化する汎用アルゴリズムの開発。
• 特に特徴マップ数が多い場合に、FFTを用いた畳み込みの実現可能性の検討。
• FFTベースの手法によって、カーネルサイズに依存しない計算を実現し、大カーネル畳み込みの性能ボトルネックを克服すること。

提案手法

• この手法は、畳み込み定理に依拠しており、空間領域における畳み込みがフーリエ領域におけるポイントワイズ積に等しいことを示す：$ f * g = \mathcal{F}^{-1}(\mathcal{F}(f) \cdot \mathcal{F}(g)) $。
• 入力特徴マップとカーネルのフーリエ変換を1層あたり1回だけ計算し、その後、すべての順伝播、逆伝播、重み更新演算で再利用する。
• すべての畳み込み演算—順伝播、入力に関する勾配、重みに関する勾配—を周波数領域におけるポイントワイズ乗算に再定式化し、繰り返しの空間畳み込みを回避する。
• GPUアーキテクチャ上で実装されており、入力およびカーネルサイズを次の2のべき乗にパディングすることで、効率的なFFT計算を可能にしている。
• 出力の周期的畳み込みアーティファクトを処理するため、標準的な畳み込みと同一サイズに出力をクロップすることで、追加コストなしに正しく保証する。
• カーネルサイズに依存しないアプローチであり、カーネルを入力サイズに合わせてパディングしてFFTを実行するため、性能がカーネル寸法に依存しない。

実験結果

リサーチクエスチョン

• RQ1 FFTベースの畳み込みは、深層畳み込みニューラルネットワークにおける学習および推論を顕著に高速化できるか？
• RQ2 特徴マップおよびカーネルの事前計算されたフーリエ変換を再利用することで、バックプロパゲーションのすべての演算における計算コストを低減できるか？
• RQ3 入力サイズ、カーネルサイズ、バッチサイズの変動に応じて、FFTベースの手法は最先端のGPU最適化実装と比較してどの程度の性能を示すか？
• RQ4 直接畳み込みが最も高コストとなる大カーネルにおいても、この手法が顕著な高速化を達成できるか？
• RQ5 FFT手法の性能はカーネルサイズに依存せず、これにより大カーネルの採用といった新たなアーキテクチャ的選択肢が可能になるか？

主な発見

• FFTベースの手法は、最先端の実装と比較して、最も計算コストの高い演算であるaccGradParametersにおいて、1桁以上の高速化を達成した。
• 一般的なネットワーク設定（7×7カーネル、32×32入力、96入力および256出力特徴マップ）において、FFT手法は全学習イテレーション時間の2495 ms（CudaConv）を867 msに短縮した。
• テストされたすべての設定において、カスタムTorch7およびCudaConv実装を上回る性能を示し、特に順伝播および勾配計算で最大の利得を達成した。
• 大カーネルにおいて特に顕著であり、固定サイズのFFTであるため、カーネルサイズにかかわらず性能が一定を保った。
• 入力サイズおよびバッチサイズの変動に対しても頑健であり、すべてのテスト設定で一貫した性能向上を示した。
• アルゴリズムの性能はカーネルサイズに依存しないため、将来的に大カーネルの採用を計算コストの増加なしに検討可能にした。