[論文レビュー] Bridging the Gap Between Neural Networks and Neuromorphic Hardware with A Neural Network Compiler

Yu Ji, Youhui Zhang+2 more|arXiv (Cornell University)|Nov 15, 2017

Advanced Memory and Neural Computing参考文献 57被引用数 5

ひとこと要約

この論文では、神経可塑性およびプロセッシングインメモリ（PIM）アクセラレータ向けに、制限のない、事前に訓練されたニューラルネットワークを同等のハードウェア制約付きモデルにコンパイルするニューラルネットワークコンパイラを提示する。計算グラフ抽象化を通じてソフトウェアとハードウェアを分離し、精度に配慮したレイヤー単位の変換技術を適用することにより、再訓練の最小限のオーバーヘッドで、多様な神経可塑性プラットフォームへの高速で低誤差のマッピングを実現する。

ABSTRACT

Different from developing neural networks (NNs) for general-purpose processors, the development for NN chips usually faces with some hardware-specific restrictions, such as limited precision of network signals and parameters, constrained computation scale, and limited types of non-linear functions. This paper proposes a general methodology to address the challenges. We decouple the NN applications from the target hardware by introducing a compiler that can transform an existing trained, unrestricted NN into an equivalent network that meets the given hardware's constraints. We propose multiple techniques to make the transformation adaptable to different kinds of NN chips, and reliable for restrict hardware constraints. We have built such a software tool that supports both spiking neural networks (SNNs) and traditional artificial neural networks (ANNs). We have demonstrated its effectiveness with a fabricated neuromorphic chip and a processing-in-memory (PIM) design. Tests show that the inference error caused by this solution is insignificant and the transformation time is much shorter than the retraining time. Also, we have studied the parameter-sensitivity evaluations to explore the tradeoffs between network error and resource utilization for different transformation strategies, which could provide insights for co-design optimization of neuromorphic hardware and software.

研究の動機と目的

• 柔軟で高精度なニューラルネットワークモデルと、神経可塑性アクセラレータのハードウェア制約の間のギャップを解消すること。
• 再トレーニングを伴わずに、事前に訓練された制限のないニューラルネットワークを専用の神経可塑性ハードウェアで再利用可能にする。
• 人工的およびスパikingニューラルネットワークを包括的にサポートする、汎用的かつポータブルなコンパイルソリューションを提供すること。
• 制限付き環境において、推論誤差と変換時間を最小限に抑えつつ、高いリソース利用効率を維持すること。
• 異なる変換戦略におけるモデル精度とハードウェアリソース使用量のトレードオフを分析することで、ハードウェア・ソフトウェアの共同設計のインサイトを提供すること。

提案手法

• 計算グラフ（CG）抽象化を介してニューラルネットワークアプリケーションとターゲットハードウェアを分離し、プラットフォームに依存しないモデル表現を実現する。
• レイヤー単位の精度に配慮した変換を適用し、高精度の重みと活性化を、ターゲットハードウェアの限られた精度データ型（例：1ビット、2ビット）にマッピングする。
• 推論精度とリソース効率のバランスを取るために、各レイヤーごとに動的に精度を設定する。
• 統一されたコンパイルパイプラインを通じて、人工ニューラルネットワーク（ANNs）とスパikingニューラルネットワーク（SNNs）の両方をサポートする。
• 重みの量子化、活性化のスケーリング、非線形関数の近似などの最適化技術を採用し、ハードウェア制約下でもモデル精度を維持する。
• 実装済みの神経可塑性チップとPIMベースのアクセラレータ上でコンパイラを検証し、変換オーバーヘッドが低く、推論誤差が無視できるほど小さいことを示した。

実験結果

リサーチクエスチョン

• RQ1 汎用的なニューラルネットワークコンパイラは、再訓練を最小限に抑えつつ、多様な神経可塑性ハードウェアに制限のない事前訓練済みニューラルネットワークを効果的にマッピングできるか？
• RQ2 提案されたコンパイラの変換時間は、ハードウェア固有のモデル開発に必要な再トレーニング時間と比べてどの程度短いか？
• RQ3 厳密な精度制限および接続制限下で、異なる変換戦略を適用した場合の、モデル精度とハードウェアリソース使用量のトレードオフはいかなるものか？
• RQ4 1ビット精度や非線形関数のサポートが限られたアクセラレータを含め、さまざまな種類の神経可塑性アクセラレータにおいて、コンパイラがネットワーク動作をどの程度正確に保持できるか？
• RQ5 コンパイラがモデル変換におけるパラメータ感度のトレードオフを露呈することで、ハードウェアとソフトウェアの効率的な共同設計を可能にできるか？

主な発見

• 提案されたコンパイラは、神経可塑性ハードウェアへのマッピングにおいて、顕著に再トレーニングに起因する変動よりも低い、無視できるほどの推論誤差を達成した。
• 変換時間は再トレーニングよりも著しく速く、全再トレーニングサイクルと比較して、複数桁の速度向上が報告された。
• 本手法はANNとSNNの両方をサポートし、実装済みチップとPIM設計を含む多様な神経可塑性アクセラレータへのクロスプラットフォーム展開を可能にした。
• パラメータ感度分析により、モデル精度とハードウェアリソース使用量の明確なトレードオフが明らかとなり、意思決定に役立つ共同設計のインサイトが得られた。
• レイヤー単位で精度を再設定可能な変換戦略により、1ビット精度や限られたファンイン/ファンアウトといった厳しいハードウェア制約下でも、モデルの忠実性を効果的に維持できた。
• 本ソリューションは、冗長性依存の手法にとどまらず、低冗長性または高精度要件を満たすモデルに対しても一般適用可能であり、厳しいハードウェア制限下でも実用的であることが示された。