[論文レビュー] Computational Complexity Evaluation of Neural Network Applications in Signal Processing

Pedro J. Freire, Sasipim Srivallapanondh+3 more|arXiv (Cornell University)|Jun 24, 2022

Neural Networks and Applications被引用数 42

ひとこと要約

この論文は、信号処理におけるニューラルネットワーク層の計算複雑性を評価・比較する統一フレームワークを提示し、量子化を考慮した新しいNABS指標を含む、四つのソフトウェア-to-hardware指標を導入します。

ABSTRACT

In this paper, we provide a systematic approach for assessing and comparing the computational complexity of neural network layers in digital signal processing. We provide and link four software-to-hardware complexity measures, defining how the different complexity metrics relate to the layers' hyper-parameters. This paper explains how to compute these four metrics for feed-forward and recurrent layers, and defines in which case we ought to use a particular metric depending on whether we characterize a more soft- or hardware-oriented application. One of the four metrics, called `the number of additions and bit shifts (NABS)', is newly introduced for heterogeneous quantization. NABS characterizes the impact of not only the bitwidth used in the operation but also the type of quantization used in the arithmetical operations. We intend this work to serve as a baseline for the different levels (purposes) of complexity estimation related to the neural networks' application in real-time digital signal processing, aiming at unifying the computational complexity estimation.

研究の動機と目的

• DSP文脈におけるニューラルネットワーク層の複雑性を体系的に評価・比較するためのアプローチを提供する。
• ソフトウェアとハードウェアの観点を横断して4つの複雑性指標を結びつけ、説明する。
• 異種量子化下でこれらの指標をフォワード・リカレント層に適用して計算する方法を示す。
• 量子化方式が乗算器/加算器コストに与える影響を捉えるためにNABSを導入する。

提案手法

• ソフトウェアからハードウェアレベルへ四つの複雑性指標を説明します。
• 密結合（MLP）、1D-CNN、Vanilla RNN、LSTM、GRU、ESNネットワークの層ごとのRM、BOP、NABS式を導出します。
• NABSを導入して、量子化スキーム（均一、PoT、APoT、CANONICAL SD、等）による乗算器の簡略化を定量化します。
• 層のハイパーパラメータとビット幅の関数として複雑性を計算するフレームワークを提供し、CLB/FPGAの見積もりを用いたハードウェア影響を議論します。

実験結果

リサーチクエスチョン

• RQ1 信号処理で用いられる異なるニューラルネットワーク層を、ハードウェアに関連する複雑性フレームワークで評価するにはどうすればよいか？
• RQ2 異種量子化の下で、一般的なNN層に対する具体的なRM、BOP、NABSの式は何か？
• RQ3 量子化タイプがDSPにおけるニューラルネット実装の実際のハードウェアコストにどのように影響するのか？
• RQ4 実時間DSPにおけるソフトウェアからハードウェアの複雑性推定の基準として、統一指標セットは機能するか？

主な発見

ネットワークタイプ	RM	BOP	NABS
MLP	n_n n_i	n_n n_i [b_w b_i + Acc(n_i, b_w, b_i)]	n_n n_i (X_w + 1) Acc(n_i, b_w, b_i)
1D-CNN	OutputSize n_f n_i n_k · OutputSize	OutputSize · n_f Mult(n_i n_k, b_w, b_i) + n_f Acc(n_i n_k, b_w, b_i)	OutputSize · n_f [n_i n_k (X_w + 1) − 1] × Acc(n_i n_k, b_w, b_i) + n_f Acc(n_i n_k, b_w, b_i)
Vanilla RNN	n_s n_h (n_i + n_h)	n_s n_h Mult(n_i, b_w, b_i) + n_s n_h Mult(n_h, b_w, b_a) + 2 n_s n_h Acc(n_h, b_w, b_a)	n_s n_h [n_i (X_w + 1) − 1] Acc(n_i, b_w, b_i) + n_s n_h [n_h (X_w + 1) + 1] Acc(n_h, b_w, b_a)
LSTM	n_s n_h (4 n_i + 4 n_h + 3)	4 n_s n_h Mult(n_i, b_w, b_i) + 4 n_s n_h Mult(n_h, b_w, b_a) + 3 n_s n_h b_a^2 + 9 n_s n_h Acc(n_h, b_w, b_a)	4 n_s n_h [n_i (X_w + 1) − 1] Acc(n_i, b_w, b_i) + 4 n_s n_h [n_h (X_w + 1) + 1] Acc(n_h, b_w, b_a) + 6 n_s n_h b_a
GRU	n_s n_h (3 n_i + 3 n_h + 3)	3 n_s n_h Mult(n_i, b_w, b_i) + 3 n_s n_h Mult(n_h, b_w, b_a) + 3 n_s n_h b_a^2 + 8 n_s n_h Acc(n_h, b_w, b_a)	3 n_s n_h [n_i (X_w + 1) − 1] Acc(n_i, b_w, b_i) + n_s n_h [3 n_h (X_w + 1) + 5] Acc(n_h, b_w, b_a) + 6 n_s n_h b_a
ESN	n_s N_r (n_i + N_r s_p + 2 + n_o)	n_s N_r Mult(n_i, b_w, b_i) + n_s N_r s_p Mult(N_r, b_w, b_a) + n_s N_r Mult(n_o, b_w, b_a)	n_s N_r [n_i (X_w + 1) − 1] Acc(n_i, b_w, b_i) + n_s N_r [s_p (N_r X_w + N_r − 1) + 4] Acc(N_r, b_w, b_a) + n_s N_r [n_o (X_w + 1) − 1] Acc(n_o, b_w, b_a) + 4 n_s N_r b_a

• ソフトウェアからハードウェアにわたる4つの複雑性指標を導入し、層のハイパーパラメータと関連づける。
• 密結合、CNN、RNN、LSTM、GRU、ESN層について明示的なRM, BOP, NABS式を提供する。
• 量子化スキームがNABSと全体の複雑性に及ぼす影響を、実効加算器数(X_w)と加算器サイズを変えることで示す。
• ベースラインのフレームワークと、異なるハードウェア仮定の下でNNベースのDSP実装を比較する表を提示する。