[論文レビュー] A Time-domain Analog Weighted-sum Calculation Model for Extremely Low Power VLSI Implementation of Multi-layer Neural Networks

Quan Wang, Hakaru Tamukoh+1 more|arXiv (Cornell University)|Oct 16, 2018

Advanced Memory and Neural Computing参考文献 1被引用数 20

ひとこと要約

本稿では、超低消費電力VLSI実装を目的とした、多層ニューラルネットワークのための時間領域アナログ加重和計算モデルを提案する。サブサブスレッショルドMOSFETを用いた一時的RC充電を活用することで、250-nm CMOSプロセスを用いて290 TOPS/Wのエネルギー効率を達成した。これは、最新のデジタルAIプロセッサの10倍以上であり、高度なプロセスを用いれば1,000 TOPS/Wを超える可能性を有する。

ABSTRACT

A time-domain analog weighted-sum calculation model is proposed based on an integrate-and-fire-type spiking neuron model. The proposed calculation model is applied to multi-layer feedforward networks, in which weighted summations with positive and negative weights are separately performed in each layer and summation results are then fed into the next layers without their subtraction operation. We also propose very large-scale integrated (VLSI) circuits to implement the proposed model. Unlike the conventional analog voltage or current mode circuits, the time-domain analog circuits use transient operation in charging/discharging processes to capacitors. Since the circuits can be designed without operational amplifiers, they can operate with extremely low power consumption. However, they have to use very high resistance devices on the order of G$ m Ω$. We designed a proof-of-concept (PoC) CMOS VLSI chip to verify weighted-sum operation with the same weights and evaluated it by post-layout circuit simulation using 250-nm fabrication technology. High resistance operation was realized by using the subthreshold operation region of MOS transistors. Simulation results showed that energy efficiency for the weighted-sum calculation was 290~TOPS/W, more than one order of magnitude higher than that in state-of-the-art digital AI processors, even though the minimum width of interconnection used in the PoC chip was several times larger than that in such digital processors. If state-of-the-art VLSI technology is used to implement the proposed model, an energy efficiency of more than 1,000~TOPS/W will be possible. For practical applications, development of emerging analog memory devices such as ferroelectric-gate FETs is necessary.

研究の動機と目的

• エッジAIアプリケーション向けに、極めて低消費電力なVLSIによる多層ニューラルネットワーク実装を可能にすること。
• 深層ニューラルネットワークにおける従来のデジタルMAC演算の高いエネルギーコストを克服すること。
• オペアンプを回避する時間領域アナログ計算手法を開発し、超低消費電力動作を実現すること。
• 250-nmプロセスを用いたプロトタイプCMOS VLSIチップを設計・検証することで、実現可能性を示すこと。
• 特に新規アナログメモリデバイスと低消費電力コンパレータの必要性を含め、このアプローチのスケーリングにおける主な課題を特定すること。

提案手法

• 入力スパイクのタイミングがシナプス後電位の上昇時間を変調する、インテグレートアンドファイアスパイクニューロンフレームワークを採用する。
• 抵抗と容量で定まる時定数を持つRC回路を用いて加重和を実現し、抵抗はサブサブスレッショルドMOSFETを用いてGΩレベルの高抵抗値を実現する。
• 正負の重みを別々のRCパスで並列に計算し、明示的な減算を伴わず結果を合成する。
• ニューロン部ではコンパレータを用いてしきい値超過を検出し、ReLU活性化関数は単純な論理ゲートにより2つのタイミング信号の遅い方を出力することで実装する。
• 250-nmプロセスを用いた後工程レイアウトシミュレーションにより、プロトタイプCMOS VLSIチップを設計・検証した。
• 回路アーキテクチャは、層間の直接的スパイクタイミング伝搬を可能とする、多層フィードフォワードネットワークをサポートする。

実験結果

リサーチクエスチョン

• RQ1 時間領域アナログ計算と一時的RC状態を用いることで、ニューラルネットワークにおけるデジタルMAC演算よりも顕著に低いエネルギー消費を達成できるか？
• RQ2 アナログドメインで減算を伴わず、正負の重みを効率的に計算・統合する方法は何か？
• RQ3 CMOS VLSIにおいて高抵抗素子としてサブサブスレッショルドMOSFETを用いることで、どの程度のエネルギー効率が達成できるか？
• RQ4 本モデルは、エネルギー効率と精度の面で、従来のデジタルAIプロセッサと比べてどのように差をつけるか？
• RQ5 実用的導入にあたっての主なハードウェアボトルネック（特にメモリとコンパレータ設計）は何か？

主な発見

• 提案された時間領域アナログ加重和モデルは、250-nm CMOSプロセスを用いた後工程レイアウトシミュレーションで290 TOPS/Wのエネルギー効率を達成した。
• このエネルギー効率は、最新のデジタルAIプロセッサの10倍以上高い。
• シナプス回路の1回の演算あたりの消費電力は約3.34 fJであり、ニューロンコンパレータは約1.67 pJを占めており、コンパレータが主なエネルギー寄与要因であることが示された。
• オペアンプを回避し、被動的RC素子とスイッチのみを用いることで、超低消費電力動作を実現した。
• 寄生容量が低減された高度なVLSIプロセスを用いることで、エネルギー効率は1,000 TOPS/Wを超える可能性がある。
• アナログ非理想性に対しても頑健であり、マルチレイヤーパーセプトロンを用いたMNISTテストにおいて、数値計算と同等の精度を維持した。