[論文レビュー] Precise neural network computation with imprecise analog devices

Jonathan Binas, Daniel Neil+3 more|arXiv (Cornell University)|Jun 23, 2016

Neural Networks and Applications参考文献 41被引用数 10

ひとこと要約

本論文は、測定済みのハードウェアばらつきをトレーニング中の制約として組み込むことで、アナログVLSI回路におけるデバイス不一致を補正するフレームワークを提案する。この手法により、低消費電力でコンactなアナログ回路を用いて高精度なニューラルネットワーク推論が可能となり、理想のデジタル実装と同等の性能を発揮しながら、消費電力を低減する。

ABSTRACT

The operations used for neural network computation map favorably onto simple analog circuits, which outshine their digital counterparts in terms of compactness and efficiency. Nevertheless, such implementations have been largely supplanted by digital designs, partly because of device mismatch effects due to material and fabrication imperfections. We propose a framework that exploits the power of deep learning to compensate for this mismatch by incorporating the measured device variations as constraints in the neural network training process. This eliminates the need for mismatch minimization strategies and allows circuit complexity and power-consumption to be reduced to a minimum. Our results, based on large-scale simulations as well as a prototype VLSI chip implementation indicate a processing efficiency comparable to current state-of-art digital implementations. This method is suitable for future technology based on nanodevices with large variability, such as memristive arrays.

研究の動機と目的

• 面積および消費電力効率に優れるものの、長年にわたりその採用が制限されてきたアナログVLSI回路におけるデバイス不一致の課題に対処すること。
• ネットワークトレーニング中に測定済みのデバイス特性を活用することで、アナログハードウェア上で高精度なニューラルネットワーク推論を実現すること。
• 過大なトランジスタを用いる従来の不一致低減技術を避けることで、回路の複雑さと消費電力を低減すること。
• 大規模シミュレーションおよび180 nm CMOS VLSIプロトタイプの実装を通じて、リアルタイム分類の実現可能性を示すこと。
• エッジデバイスやエネルギー制限のある応用に適したスケーラブルで超低消費電力のアナログニューラルネットワークプロセッサの基盤を築くこと。

提案手法

• 制御された入力スティミュラスと出力記録を用いて、プロトタイプVLSIチップ上に実装された個々のアナログニューロンの転送特性を測定する。
• 測定済みのデバイス応答曲線を、ネットワーク重みと回路パラメータの両方のトレーニングプロセスにおける制約として使用する。
• 実測されたデバイス動作を用いてオフラインでネットワークをトレーニングし、特定のハードウェアばらつきに適合した設定パラメータを生成する。
• 最適化されたネットワークパラメータを物理的アナログ回路にマッピングし、完全にハードウェア設定済みのニューラルネットワークを実装する。
• 加算（ワイヤ接続による）や乗算（2トランジスタ構成による）などの基本演算を実行する、コンactで低消費電力のアナログ回路設計を採用する。
• 行動シミュレーションとクローズドループVLSIプロトタイプを用いてフレームワークを検証し、実際のデバイス測定値を用いてネットワークのトレーニングとテストを実施する。

実験結果

リサーチクエスチョン

• RQ1 ハードウェアの均一性を要件としないまま、深層学習を用いてアナログVLSIニューラルネットワーク実装におけるデバイス不一致を補正できるか？
• RQ2 アナログVLSI回路は、消費電力と面積を低減しつつ、理想のデジタル実装と同等の性能をどの程度達成できるか？
• RQ3 トレーニング時に測定済みのハードウェア応答曲線を組み込むことで、実世界のアナログシステムにおける分類精度と耐障害性にどのような影響を与えるか？
• RQ4 本フレームワークは、メモリスティブアレイやナノスケールデバイスなど、高いばらつきを示す他の基板にも拡張可能か？
• RQ5 収束時間のばらつきがエネルギー効率に与える影響は何か？ また、入力電流の適応制御によってこれを軽減できるか？

主な発見

• 測定済みのデバイス特性とハードウェア最適化トレーニングを用いたアナログVLSI実装は、アイris花粉データセットで100%の分類精度を達成した。
• MNISTデータセットでは、シミュレートされたアナログ回路が98.0%の精度を達成し、理想のデジタルネットワークと同等の性能を示した。
• アナログ実装のエネルギー効率は7.97 TOp/Jに達し、デジタルベースラインの6.39 TOp/Jを上回った。
• 大規模なSPICEシミュレーションにより、テストデータのサブセットを用いても、トレーニング済みのアナログネットワークが94.6%の高い精度を維持することが確認された。
• このフレームワークにより、完全に並列でメモリと処理が同一位置に配置されたアーキテクチャが実現され、ニューラルネットワーク推論におけるフォン・ノイマンボトルネックが解消された。
• このアプローチはスケーラブルであり、将来的なメモリスティブやナノスケールデバイスなど、高精度にばらつきを示す他の可変精度基板に対しても適用可能である。