[論文レビュー] Very Efficient Training of Convolutional Neural Networks using Fast Fourier Transform and Overlap-and-Add

Tyler Highlander, Andrés Rodríguez|arXiv (Cornell University)|Jan 25, 2016

Advanced Neural Network Applications被引用数 4

ひとこと要約

この論文は、高速フーリエ変換（FFT）とオーバーラップアンドアド（OaA）技術を組み合わせることで、畳み込みニューラルネットワーク（CNN）の学習を高速化する新規手法を提案している。各カーネルあたりの計算量を O(N²n²) から O(N² log₂n) に削減し、従来の畳み込みと比較して前向きおよび逆向きの伝搬で最大 16.3 倍の高速化を達成している。特に、入力サイズ N がカーネルサイズ n よりもはるかに大きい場合に顕著な効果を示す。

ABSTRACT

Convolutional neural networks (CNNs) are currently state-of-the-art for various classification tasks, but are computationally expensive. Propagating through the convolutional layers is very slow, as each kernel in each layer must sequentially calculate many dot products for a single forward and backward propagation which equates to $\\mathcal{O}(N^{2}n^{2})$ per kernel per layer where the inputs are $N \ imes N$ arrays and the kernels are $n \ imes n$ arrays. Convolution can be efficiently performed as a Hadamard product in the frequency domain. The bottleneck is the transformation which has a cost of $\\mathcal{O}(N^{2}\\log_2 N)$ using the fast Fourier transform (FFT). However, the increase in efficiency is less significant when $N\\gg n$ as is the case in CNNs. We mitigate this by using the "overlap-and-add" technique reducing the computational complexity to $\\mathcal{O}(N^2\\log_2 n)$ per kernel. This method increases the algorithm's efficiency in both the forward and backward propagation, reducing the training and testing time for CNNs. Our empirical results show our method reduces computational time by a factor of up to 16.3 times the traditional convolution implementation for a 8 $\ imes$ 8 kernel and a 224 $\ imes$ 224 image.

研究の動機と目的

• 深層 CNN の学習における計算ボトルネックを軽減すること。特に空間ドメインにおける遅い畳み込み演算が主因である。
• 特に入力サイズ N ≫ カーネルサイズ n の場合に、フーリエ変換のコストを最小限に抑えることで周波数ドメイン畳み込みの効率を向上させること。
• 最適化された FFT を用いた畳み込みにより、モデルの精度を維持したまま学習時間と推論時間を著しく短縮する手法を開発すること。
• オーバーラップアンドアドが、標準的な FFT を用いた畳み込みや空間ドメイン畳み込みよりも高速であることを実証すること。特に、大規模な入力、小規模なカーネルを持つ CNN アーキテクチャにおいて顕著である。

提案手法

• 入力特徴マップをカーネルサイズに一致する n×n の重複のないブロックに分割し、局所的な FFT を可能にする。
• 各ブロックに対して、FFT を用いた畳み込みを実行する：ブロックとカーネルを周波数ドメインに変換し、要素ごとの乗算（ハダマード積）を実行した後、逆FFTにより空間ドメインに戻す。
• 得られた畳み込み結果を重ね合わせて加算することで、完全な出力を再構築し、変換コストを低減した標準畳み込みを模倣する。
• この手法により、標準的な FFT 畳み込みにおける各カーネルあたりの計算量を O(N² log₂N) から O(N² log₂n) に削減し、ブロックサイズのデータに対してより小さい FFT を活用する。
• 前向きおよび逆向きの伝搬、誤差のバックプロpagationおよび重み勾配の計算にこの手法を適用する。
• 公平な比較のため CPU でシングルスレッドで実装しているが、cuFFT などのライブラリを活用した GPU での高速化を想定している。

実験結果

リサーチクエスチョン

• RQ1 オーバーラップアンドアド技術は、標準的な FFT を用いた手法よりも、CNN 異常の計算複雑度をさらに低減できるか？
• RQ2 提案された OaA-FFT 法は、一般的な CNN アーキテクチャにおいて、前向きおよび逆向きの伝搬の両方で顕著な高速化を達成できるか？
• RQ3 入力サイズおよびカーネルサイズを変化させた場合、OaA-FFT の性能は、従来の空間畳み込みおよび標準的な FFT 異常と比較してどの程度異なるか？
• RQ4 入力サイズおよびカーネルサイズが、OaA-FFT 法の相対的な性能向上に与える影響は何か？
• RQ5 実際の応用において、変換のオーバーヘッドや並列化の可能性を考慮しても、OaA-FFT 法は効果的にスケーリング可能か？

主な発見

• OaA-FFT 法により、各カーネルあたりの計算複雑度が標準的な FFT 異常の O(N² log₂N) から O(N² log₂n) に低下し、理論的高速化係数は log₂N / log₂n に達する。
• 実験的結果では、224×224 の入力と 8×8 のカーネルに対して、従来の空間畳み込みと比較して最大 16.3 倍の高速化が確認され、ネットワークの深さに関係なく一貫した向上が得られた。
• 前向きおよび逆向きの伝搬の両方において、標準的な FFT 異常を上回る性能を示し、特に逆向き伝搬ではカーネルあたり2回の畳み込みが発生するため、相対的な改善が顕著に見られた。
• カーネル数が増えるほど高速化が向上し、FFT の固定オーバーヘッドがより多くの演算に分散されるためである。
• カーネルサイズが 2 のべき乗である場合に性能がピークに達し、FFT の最適性能と整合していることから、2 のべき乗に近いサイズにゼロパディングを行うことでさらに効率が向上することが示唆された。
• 入力サイズが 8×8 を超える場合、OaA-FFT は空間畳み込みおよび標準的な FFT 異常を常に上回り、特に N ≫ n の場合に顕著な優位性を示した。