[論文レビュー] Accurate and Efficient Hyperbolic Tangent Activation Function on FPGA using the DCT Interpolation Filter

Ahmed M. Abdelsalam, J. M. Pierre Langlois+1 more|arXiv (Cornell University)|Sep 25, 2016

Model Reduction and Neural Networks参考文献 5被引用数 5

ひとこと要約

本稿では、離散コサイン変換補間フィルタ（DCTIF）を用いたFPGAベースの深層ニューラルネットワーク向けに、高精度でリソース効率の良い双曲正接活性化関数の近似手法を提案する。本手法は、従来手法に比べ最大100倍の高い精度を達成し、面積と遅延のオーバーヘッドを最小限に抑えつつ、DNNの学習およびテスト性能を正確な関数と同等に維持する。

ABSTRACT

Implementing an accurate and fast activation function with low cost is a crucial aspect to the implementation of Deep Neural Networks (DNNs) on FPGAs. We propose a high-accuracy approximation approach for the hyperbolic tangent activation function of artificial neurons in DNNs. It is based on the Discrete Cosine Transform Interpolation Filter (DCTIF). The proposed architecture combines simple arithmetic operations on stored samples of the hyperbolic tangent function and on input data. The proposed DCTIF implementation achieves two orders of magnitude greater precision than previous work while using the same or fewer computational resources. Various combinations of DCTIF parameters can be chosen to tradeoff the accuracy and complexity of the hyperbolic tangent function. In one case, the proposed architecture approximates the hyperbolic tangent activation function with 10E-5 maximum error while requiring only 1.52 Kbits memory and 57 LUTs of a Virtex-7 FPGA. We also discuss how the activation function accuracy affects the performance of DNNs in terms of their training and testing accuracies. We show that a high accuracy approximation can be necessary in order to maintain the same DNN training and testing performances realized by the exact function.

研究の動機と目的

• FPGAベースのDNNアクセラレータにおける、高精度かつ低リソースな双曲正接活性化関数の実装という課題に対処すること。
• 既存のハードウェア実装における近似精度と計算複雑さのトレードオフを克服すること。
• 活性化関数の近似精度がDNNの学習および推論性能に与える影響を調査すること。
• FPGA上で最小限の面積および遅延オーバーヘッドで高精度を実現する、新規のDCTIFベースの近似を構築すること。

提案手法

• 双曲正接関数を格納されたサンプル値と線形補間を用いて近似するために、離散コサイン変換補間フィルタ（DCTIF）を活用する。
• 双曲正接関数の奇対称性を活用し、正の入力値のみを格納することでメモリ要件を削減する。
• DCTに基づく補間を用いて格納されたサンプル間の途中値を計算し、算術演算の複雑さを最小限に抑える。
• 精度とリソース使用量のバランスを取るために、DCTIFのパrameter（例：フィルタ長、サンプル密度）を最適化する。
• Virtex-7 FPGA上で、基本的な算術演算（加算、シフト）と小さなルックアップテーブルのみを用いてアーキテクチャを実装する。
• 複数のDNNアーキテクチャとデータセットを対象に評価し、学習およびテスト精度に与える影響を検証する。

実験結果

リサーチクエスチョン

• RQ1 双曲正接近似の精度が、FPGA上でのDNNの学習およびテスト性能にどのように影響を与えるか？
• RQ2 PWL、LUT、ハイブリッドなどの従来手法に比べ、DCTIFベースの近似が、より少ない計算およびメモリリソースを用いても高い精度を達成できるか？
• RQ3 正確な双曲正接関数と同等のDNN性能を維持するために必要な最小の近似誤差はどの程度か？
• RQ4 FPGA実装において、DCTIFのパrameter設定の違いが精度、面積、遅延の間でどのようにトレードオフを生じるか？
• RQ5 提案手法が、多様なアーキテクチャおよびデータセットにおいて、DNNの精度をどの程度維持できるか？

主な発見

• 提案されたDCTIFベースの近似は、Virtex-7 FPGA上でのメモリ使用量が1.52 Kbits、LUT使用量が57 LUTにとどまり、最大誤差10^-5を達成し、リソース比に対する精度で従来手法を上回っている。
• MNISTデータセットでは、10^-5誤差の近似でも95.8%のテスト精度を維持し、正確な関数と同等の性能を示した。
• Sinc回帰タスクでは、10^-5誤差の近似で90.287%の学習精度を達成し、正確な関数の90.287%と同等の性能を示した。
• 最大誤差が0.04でさえも、学習精度を著しく低下させた（例：Cancerデータセットでは94.1%から68.0%に低下）。これは、低精度の近似がDNN性能を劣化させることを示している。
• 本研究では、高精度な近似（例：10^-5誤差）が、特に複雑なアーキテクチャにおいて、DNNの学習およびテスト性能を維持するために不可欠であることが示された。
• DCTIF手法により、類似またはそれ以下のリソースを用いても、従来手法に比べ100倍の精度向上が達成可能であり、FPGA上での高パフォーマンスDNN推論に適している。