[論文レビュー] Hardware Implementation of Hyperbolic Tangent Function using Catmull-Rom Spline Interpolation

Mahesh Chandra|arXiv (Cornell University)|Jul 13, 2020

Model Reduction and Neural Networks参考文献 4被引用数 5

ひとこと要約

本稿では、カットムール・ロムスプライン補間を用いた、低面積かつ高精度な双曲正 tangent 関数（tanh）のハードウェア実装を提示している。この手法により、ニューラルネットワークアクセラレータ分野で最先端の性能が達成された。最小限の論理面積を活用した区分多項式近似により、計算複雑性を低減し、リアルタイム推論を効率的に行える。

ABSTRACT

Deep neural networks yield the state of the art results in many computer vision and human machine interface tasks such as object recognition, speech recognition etc. Since, these networks are computationally expensive, customized accelerators are designed for achieving the required performance at lower cost and power. One of the key building blocks of these neural networks is non-linear activation function such as sigmoid, hyperbolic tangent (tanh), and ReLU. A low complexity accurate hardware implementation of the activation function is required to meet the performance and area targets of the neural network accelerators. This paper presents an implementation of tanh function using the Catmull-Rom spline interpolation. State of the art results are achieved using this method with comparatively smaller logic area.

研究の動機と目的

• 深層ニューラルネットワークで使用される双曲正 tangent 関数の低複雑性・低面積ハードウェアアクセラレータの設計を目的とする。
• 既存の近似手法を改善し、面積と遅延を低減しながら高い精度を維持することを目的とする。
• リソース制限のあるニューラルネットワーク推論アクセラレータにおける活性化関数の効率的デプロイを可能にすることを目的とする。
• カットムール・ロムスプライン補間が、tanh近似において精度、面積、複雑性の間で優れたトレードオフを提供することを実証することを目的とする。

提案手法

• 双曲正 tangent 関数は、事前に定義された区間内でカットムール・ロムスプライン補間を用いて近似される。
• この手法は入力範囲をセグメントに分割し、滑らかな補間のために区分的3次多項式を適用する。
• スプラインの制御点は、特定の入力点における既知のtanh値に基づいて選択され、精度を確保する。
• 補間は、ルックアップテーブルと単純な算術ユニットを用いてハードウェアに実装され、面積オーバーヘッドを最小限に抑える。
• 固定小数点演算を最適化することで、FPGA や ASIC 実装におけるリソース使用量を削減する。
• 多項式評価とテーブルベースの事前計算に依存することで、複雑な超越関数演算を回避する。

実験結果

リサーチクエスチョン

• RQ1 カットムール・ロムスプライン補間は、最小限のハードウェア面積でtanh関数に対して高い精度を達成できるか？
• RQ2 本手法は、既存のtanh近似技術と比較して、面積、遅延、精度の観点でどのように優れているか？
• RQ3 誤差を最小限に抑えるために、最適なセグメンテーションと制御点選択戦略は何か？
• RQ4 この手法は、ニューラルネットワーク推論アクセラレータにおける計算複雑性をどの程度低減できるか？

主な発見

• 提案されたカットムール・ロムスプラインベースのtanh実装は、先行手法と比較して顕著に低面積でありながら、最先端の精度を達成した。
• tanh関数の全入力範囲にわたり高い精度を維持しており、深層学習推論に適した誤差レベルであった。
• 区分多項式近似とコンactなルックアップテーブルの効率的使用により、ハードウェア設計に必要な面積が最小限に抑えられた。
• 低遅延を実現したため、リアルタイム動作が可能であり、高スルーレートのニューラルネットワークアクセラレータに適している。