[論文レビュー] Acceleration of Convolutional Neural Network Using FFT-Based Split Convolutions

Kamran Chitsaz, Mohsen Hajabdollahi+3 more|arXiv (Cornell University)|Mar 27, 2020

Advanced Neural Network Applications参考文献 21被引用数 25

ひとこと要約

本稿では、周波数領域における計算複雑度を低減することにより、畳み込みニューラルネットワーク（CNN）の高速化を図る、FFTベースのスプリット畳み込み手法を提案する。入力特徴量を分割し、オーバーモードアド（overlap-and-add）技術を活用することで、冗長性を最小限に抑え、効率性を向上させる。従来のFFTベースのCNNと比較して、ハードウェア実装および複雑度解析の両面で優れた性能を示している。

ABSTRACT

Convolutional neural networks (CNNs) have a large number of variables and hence suffer from a complexity problem for their implementation. Different methods and techniques have developed to alleviate the problem of CNN's complexity, such as quantization, pruning, etc. Among the different simplification methods, computation in the Fourier domain is regarded as a new paradigm for the acceleration of CNNs. Recent studies on Fast Fourier Transform (FFT) based CNN aiming at simplifying the computations required for FFT. However, there is a lot of space for working on the reduction of the computational complexity of FFT. In this paper, a new method for CNN processing in the FFT domain is proposed, which is based on input splitting. There are problems in the computation of FFT using small kernels in situations such as CNN. Splitting can be considered as an effective solution for such issues aroused by small kernels. Using splitting redundancy, such as overlap-and-add, is reduced and, efficiency is increased. Hardware implementation of the proposed FFT method, as well as different analyses of the complexity, are performed to demonstrate the proper performance of the proposed method.

研究の動機と目的

• CNNの高い計算複雑度、特にFFTベースの実装における課題に対処すること。
• 特に小さなカーネルに対して、FFTベースの畳み込み演算における冗長性を低減し、効率性を向上させること。
• 入力分割を用いた新しいFFTドメインにおけるCNN処理手法を提案し、計算性能を向上させること。
• ハードウェア実装および包括的な複雑度解析を通じて、提案手法を評価すること。

提案手法

• 大規模な特徴マップをより小さな管理可能なセグメントに分解できるように、周波数領域における入力分割を導入する。
• 冗長性を低減し、畳み込み出力の正確な再構成を保証するために、オーバーモードアド技術を適用する。
• 空間畳み込みを周波数領域における要素ごとの乗算に変換するために、高速フーリエ変換（FFT）を活用する。
• 計算複雑度の分析を通じて、標準的なFFTベースのCNNと比較して効率性の向上を示す。
• 実世界の性能とスケーラビリティを検証するために、ハードウェア実装を実施する。
• 従来のFFTベースのアプローチと比較して、小さなカーネル畳み込みをより効率的に処理できるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 FFTベースのCNNは、小さなカーネル畳み込みに対してどのようにしてより効率化できるか？
• RQ2 入力分割は、FFTドメインにおける冗長性低減と計算効率向上にどのような役割を果たすか？
• RQ3 オーバーモードアド技術は、FFTベースの畳み込みにおいて計算オーバーヘッドを効果的に低減できるか？
• RQ4 提案手法は、既存のFFTベースのCNN高速化技術と比較して、複雑度および性能面でどのように異なるか？
• RQ5 本稿のFFTベースのスプリット畳み込み手法のハードウェア実装には、実用的意義は何か？

主な発見

• 提案されたFFTベースのスプリット畳み込み手法は、入力分割とオーバーモードアド技術を活用することで、小さなカーネル畳み込みにおける計算冗長性を顕著に低減した。
• 複雑度解析の結果、標準的なFFTベースのCNNと比較して、本手法が低い計算複雑度を達成していることが確認された。
• ハードウェア実装の結果、効率性と性能が向上しており、本手法の実用的妥当性が裏付けられた。
• 従来のアプローチが非効率であるとされる小さなカーネルに適用した場合に、本手法はFFTベースのCNNの限界を効果的に克服した。
• 推論の高速化を実現しながらも高い精度を維持しており、リアルタイムおよびリソース制限のあるアプリケーションに適している。