[論文レビュー] An Energy-efficient Time-domain Analog VLSI Neural Network Processor Based on a Pulse-width Modulation Approach

Masatoshi Yamaguchi, Goki Iwamoto+2 more|arXiv (Cornell University)|Feb 16, 2019

Advanced Memory and Neural Computing参考文献 25被引用数 7

ひとこと要約

本稿では、バイナリニューラルネットワークにおけるエネルギー効率の高い重み付き和計算のため、パルス幅変調（PWM）を用いた時間領域アナログVLSIニューラルネットワークプロセッサを提案する。サブサブスレッショルドMOSFETと一時的RC充放電を活用することで、250-nm CMOSプロセスを用いて300 TOPS/Wのエネルギー効率を達成した。これは最新のデジタルAIプロセッサの30倍以上であり、先進プロセスを用いることで1,000 TOPS/Wを超える可能性を有する。

ABSTRACT

A time-domain analog-weighted-sum calculation model based on a pulse-width modulation (PWM) approach is proposed. The proposed calculation model can be applied to any types of network structure including multi-layer feedforward networks. We also propose very large-scale integrated (VLSI) circuits to implement the proposed model. Unlike the conventional analog voltage or current mode circuits used in computing-in-memory circuits, our time-domain analog circuits use transient operation in charging/discharging processes to capacitors. Since the circuits can be designed without operational amplifiers, they can be operated with extremely low power consumption. However, they have to use very high-resistance devices, on the order of giga-ohms. We designed a CMOS VLSI chip to verify weighted-sum operation based on the proposed model with binary weights, which realizes the BinaryConnect model. In the chip, memory cells of static-random-access memory (SRAM) are used for synaptic connection weights. High-resistance operation was realized by using the subthreshold operation region of MOS transistors unlike the ordinary computing-in-memory circuits. The chip was designed and fabricated using a 250-nm fabrication technology. Measurement results showed that energy efficiency for the weighted-sum calculation was 300~TOPS/W (Tera-Operations Per Second per Watt), which is more than one order of magnitude higher than that in state-of-the-art digital AI processors, even though the minimum width of interconnection used in this chip was several times larger than that in such digital processors. If state-of-the-art VLSI technology is used to implement the proposed model, an energy efficiency of more than 1,000~TOPS/W will be possible. For practical applications, development of emerging analog memory devices such as ferroelectric-gate field effect transistors (FeFETs) is necessary.

研究の動機と目的

• エッジデバイスにおけるデジタルAIプロセッサの高消費電力問題を解決するため、ニューラルネットワーク推論に向けた低消費電力アナログVLSIソリューションを開発すること。
• 従来のアナログ電圧／電流モード回路の制限を克服するため、一時的RC応答を用いた時間領域アナログ計算アプローチを導入すること。
• PWM符号化信号とサブサブスレッショルドMOSFETを用いて、バイナリニューラルネットワークの重み付き和（MAC）演算において超高エネルギー効率を達成すること。
• 100×10のシナプスを有するCMOS VLSIチップを実装し、300 TOPS/Wの効率を達成することで、TACT-PWMアーキテクチャの実現可能性を検証すること。
• サブサブスレッショルド動作におけるデバイスバラツキを補償するため、FeFETなどの新規アナログメモリデバイスの必要性を特定すること。

提案手法

• 入力パルス幅が信号振幅を表すパルス幅変調（PWM）に基づく時間領域アナログ重み付き和モデルを提案し、コンデンサの電荷が重み付き入力を統合することを特徴とする。
• スイッチド・カレント・ソース（SCS）を用いたRC回路を実装し、コンデンサへの電荷蓄積が重み付き和に対応することを実現する。
• MOSFETのサブサブスレッショルド動作を活用し、オペアンプを不要とする低消費電力動作を実現するための高抵抗素子（ギガオーム領域）を形成する。
• SRAMベースのメモリセルを用いた250-nm CMOSプロセスで実装されたVLSIチップを設計し、バイナリ重みの保持とReLU活性化のためのコンパレータ回路を統合する。
• TACT-PWMアプローチを用いてBinaryConnectネットワークを実装し、コンデンサの一時的充放電を介して効率的なMAC演算を実現する。
• 複数回の測定を平均化することで、タイミングジッタを低減し、出力パルス幅の精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 PWMと一時的RC応答に基づく時間領域アナログVLSIアーキテクチャは、ニューラルネットワーク推論において、デジタルAIプロセッサよりも顕著に高いエネルギー効率を達成できるか？
• RQ2 サブサブスレッショルドMOSFET動作は、オペアンプを不要とするアナログ重み付き和回路における超低消費電力動作をどのように可能にするか？
• RQ3 250-nmプロセスとバイナリ重みを用いたTACT-PWMモデルを実装したCMOS VLSIチップの達成可能なエネルギー効率はどの程度か？
• RQ4 サブサブスレッショルドMOSFETにおけるデバイスバラツキが計算精度に与える影響はどの程度で、どのように補償可能か？
• RQ5 先進的VLSIプロセスおよびFeFETなどの新規アナログメモリデバイスを用いることで、どのような性能向上が期待できるか？

主な発見

• 実装されたCMOS VLSIチップは、300 TOPS/Wのパワー効率を達成した。これは、最新のデジタルAIプロセッサの30倍以上に相当する。
• 300 TOPS/Wのエネルギー効率は、最小寸法が現代のデジタルAIチップの約10倍も大きな250-nmプロセスを用いても達成された。
• 測定結果では、ReLU活性化後の出力パルス幅に最大8%、平均1.5%の誤差が観測され、バイナリネットワークにおいては許容可能な精度であると示された。
• 出力パルス幅のタイミングジッタは±20 nsであり、最大パルス幅2 μsを考慮すると、約±1%の精度に相当する。
• 理論的スケーリングの結果、最新のVLSIプロセスを用いることで、1,000 TOPS/W以上、あるいは1 POPS/Wのエネルギー効率が達成可能であると示唆された。
• ニューロン回路の消費電力がシナプスアレイと同等であったため、コンパレータ回路がさらなる効率向上のための主要なボトルネックであると判明した。