[論文レビュー] AnalogNets: ML-HW Co-Design of Noise-robust TinyML Models and Always-On Analog Compute-in-Memory Accelerator

Chuteng Zhou, Fernando Garćıa-Redondo+8 more|arXiv (Cornell University)|Nov 10, 2021

Advanced Memory and Neural Computing参考文献 45被引用数 8

ひとこと要約

AnalogNetsは、ノイズに強いニューラルネットワークアーキテクチャと、位相変化メモリ（PCM）を用いた常にオンのアナログ計算メモリ（CiM）アクセラレータを統合した共同最適化型TinyMLフレームワークを導入する。この手法は、キーワード検出とビジュアルウェークワードのタスクでそれぞれ8.58 TOPS/Wおよび4.37 TOPS/Wのエネルギー効率を達成し、PCMのコンダクタンスドリフトによる24時間の影響に対しても、精度低下がそれぞれ0.8% / 1.2%にとどまり、実ハードウェア上での高いエネルギー効率と耐障害性を実証した。

ABSTRACT

Always-on TinyML perception tasks in IoT applications require very high energy efficiency. Analog compute-in-memory (CiM) using non-volatile memory (NVM) promises high efficiency and also provides self-contained on-chip model storage. However, analog CiM introduces new practical considerations, including conductance drift, read/write noise, fixed analog-to-digital (ADC) converter gain, etc. These additional constraints must be addressed to achieve models that can be deployed on analog CiM with acceptable accuracy loss. This work describes $ extit{AnalogNets}$: TinyML models for the popular always-on applications of keyword spotting (KWS) and visual wake words (VWW). The model architectures are specifically designed for analog CiM, and we detail a comprehensive training methodology, to retain accuracy in the face of analog non-idealities, and low-precision data converters at inference time. We also describe AON-CiM, a programmable, minimal-area phase-change memory (PCM) analog CiM accelerator, with a novel layer-serial approach to remove the cost of complex interconnects associated with a fully-pipelined design. We evaluate the AnalogNets on a calibrated simulator, as well as real hardware, and find that accuracy degradation is limited to 0.8$\%$/1.2$\%$ after 24 hours of PCM drift (8-bit) for KWS/VWW. AnalogNets running on the 14nm AON-CiM accelerator demonstrate 8.58/4.37 TOPS/W for KWS/VWW workloads using 8-bit activations, respectively, and increasing to 57.39/25.69 TOPS/W with $4$-bit activations.

研究の動機と目的

• アナログ計算メモリ（CiM）ハードウェアの非理想性（コンダクタンスドリフトやADCノイズなど）を考慮した、正確で低消費電力のTinyMLモデルの実装に挑戦すること。
• アナログCiMに特化したニューラルネットワークアーキテクチャとハードウェアアクセラレータを共同で設計し、アナログ非理想性および低精度量子化に対して耐性を持つこと。
• 層シリアル実行モデルを採用した最小面積でプログラマブルなPCMベースのCiMアクセラレータ（AON-CiM）を開発すること。
• 特に常時オンのIoTアプリケーションを想定し、実世界のアナログハードウェア制約下でも高いエネルギー効率と最小限の精度低下を達成すること。
• 体系的なML-HW共同設計により、アナログCiM上で浮動小数点に近い精度を実現でき、MCUベースのソリューションと比べて桁違いに高いエネルギー効率を達成できることを示すこと。

提案手法

• キーワード検出（KWS）およびビジュアルウェークワード（VWW）タスクに特化した、アナログCiMハードウェアに最適化されたカスタムTinyMLモデルアーキテクチャ「AnalogNets」を提案する。
• バックプロパゲーション中に、コンダクタンスドリフト、リード/ライトノイズ、低精度ADCといったシミュレートされたアナログ非理想性を組み込む包括的なトレーニング手法を採用し、耐障害性を向上させる。
• 完全パイプライン化設計の複雑なインターフェースを排除するための新規な層シリアル実行モデルを採用した、14nm CMOSプロセスで実装されたPCMベースのCiMハードウェアアクセラレータ「AON-CiM」を導入する。
• 面積と消費電力を最小限に抑えるためにPWMベースのDACと低ビット幅ADCを採用し、8ビット、6ビット、4ビットの活性化精度で性能をスケーリングする。
• キャリブレーション済みシミュレータと実際のPCMテストチップを用いて評価を行い、実世界のアナログ環境下での精度とエネルギー効率を検証する。
• オンチップNVMと低精度演算の制約に適合させるために、鋭い量子化およびモデル圧縮技術（プルーニングと重み共有を含む）を適用する。

実験結果

リサーチクエスチョン

• RQ1 コンダクタンスドリフトやアナログノイズの影響を受けても、高精度を維持できるように、TinyMLモデルとアナログCiMハードウェアをどのように共同で設計できるか？
• RQ2 リアルタイムのTinyML推論タスクを実行する、完全にオンチップで常時オンのアナログCiMアクセラレータの達成可能なエネルギー効率はどの程度か？
• RQ3 アナログCiMにおける層シリアル実行モデルは、スループットやエネルギー効率を損なわせることなく、ハードウェア面積と複雑さを削減できるか？
• RQ4 4ビットの活性化精度まで激しい量子化を適用した場合、アナログ非理想性と低精度ADCと組み合わせた際のモデル精度にどのような影響が生じるか？
• RQ5 ML-HW共同設計を用いることで、常時オンのTinyMLアプリケーションにおいて、デジタルベースラインとアナログCiM実装の間の精度ギャップをどの程度埋められるか？

主な発見

• 24時間のPCMコンダクタンスドリフト後でも、KWSタスクで95.6%、VWWタスクで85.7%の精度を達成し、それぞれ0.8%および1.2%の精度低下にとどまる。
• AON-CiMアクセラレータは、8ビット活性化精度でKWSとVWWのタスクでそれぞれ8.58 TOPS/Wおよび4.37 TOPS/Wのエネルギー効率を達成し、4ビット精度では57.39 TOPS/Wおよび25.69 TOPS/Wまで向上する。
• スループットは層のサイズとアスペクト比に比例し、より大きく、縦長の層ではDAC/ADCのエネルギーコストを平均化することで、TOPS/Wが高くなる。
• 層シリアル設計により、複雑なインターフェースを排除し、チップ総面積を3.2mm²にまで削減。そのうち3.07mm²がCiMアレイに専有される。
• MCUベースのTinyMLと比較して、エネルギー効率が4桁向上：KWSタスクにおいてAON-CiMは8.2 μJ/推論、MCUは48.6 mJ/推論を記録する。
• これらの結果は、体系的なML-HW共同設計により、アナログCiMハードウェア上でほぼ理想に近いモデル精度を実現できることを示しており、常時オンでエネルギー制限のあるIoTアプリケーションに実用的であることを裏付けている。