[論文レビュー] Using the IBM Analog In-Memory Hardware Acceleration Kit for Neural Network Training and Inference

Manuel Le Gallo, Corey Lammie+9 more|arXiv (Cornell University)|Jul 18, 2023

Neural Networks and ApplicationsComputer Science参考文献 70被引用数 3

ひとこと要約

本論文では、深層ニューラルネットワーク（DNN）の学習および推論のためのアナログ・インメモリコンピューティング（AIMC）ハードウェアを正確にモデル化できる、PythonベースのシミュレーションツールキットであるIBM AIHWKitを提示する。このツールキットは、ノイズやばらつきといったデバイス非理想性をPyTorchに類似したワークフローに統合し、現実的なAIMC環境下でのDNNの学習と評価を可能にする。主な貢献は、ハードウェアに配慮した学習、カスタマイズ可能なシミュレーションコンポーネント、および管理型クラウドプラットフォーム（Analog AI Cloud Composer）との統合である。

ABSTRACT

Analog In-Memory Computing (AIMC) is a promising approach to reduce the latency and energy consumption of Deep Neural Network (DNN) inference and training. However, the noisy and non-linear device characteristics, and the non-ideal peripheral circuitry in AIMC chips, require adapting DNNs to be deployed on such hardware to achieve equivalent accuracy to digital computing. In this tutorial, we provide a deep dive into how such adaptations can be achieved and evaluated using the recently released IBM Analog Hardware Acceleration Kit (AIHWKit), freely available at https://github.com/IBM/aihwkit. The AIHWKit is a Python library that simulates inference and training of DNNs using AIMC. We present an in-depth description of the AIHWKit design, functionality, and best practices to properly perform inference and training. We also present an overview of the Analog AI Cloud Composer, a platform that provides the benefits of using the AIHWKit simulation in a fully managed cloud setting along with physical AIMC hardware access, freely available at https://aihw-composer.draco.res.ibm.com. Finally, we show examples on how users can expand and customize AIHWKit for their own needs. This tutorial is accompanied by comprehensive Jupyter Notebook code examples that can be run using AIHWKit, which can be downloaded from https://github.com/IBM/aihwkit/tree/master/notebooks/tutorial.

研究の動機と目的

• アナログ・インメモリコンピューティング（AIMC）ハードウェアにDNNをデプロイする課題に対処する。この分野では、デバイスノイズ、非線形性、回路非理想性が問題となる。
• 高水準のディープラーニングフレームワークと、AIMCデバイスおよび周辺回路の正確な物理モデルを接続するソフトウェアツールキットを提供する。
• 物理的チップや低レベルの回路シミュレータへのアクセスを必要とせずに、研究者がAIMCハードウェア向けにDNNをシミュレートおよび最適化できるようにする。
• カスタマイズ可能なシミュレーションコンポーネントとクラウドベースの物理ハードウェアアクセスとの統合を通じて、ハードウェアに配慮した学習アルゴリズムの開発を促進する。
• 良好にメンテナンスされたオープンソースツールキットへの貢献を奨励することで、コミュニティ主導の開発を促進し、AIMC研究分野におけるツールの分断を低減する。

提案手法

• 非揮発性メモリ（NVM）デバイス（PCM、ReRAM、MRAMなど）がクロスバー配列に配置された際の物理的挙動をモデル化するシミュレーションフレームワークをAIHWKit内に実装する。
• デバイスレベルの非理想性（デバイス間ばらつき、サイクル間ばらつき、ランダム・テレビジョン・ノイズ（RTN）、コンダクタンス非線形性）をシミュレーションパイプラインに統合する。
• 可変解像度および非理想性を備えたアナログ・トゥ・デジタル（ADC）およびデジタル・トゥ・アナログ（DAC）変換をモデル化することで、ミックスド・プレシジョン学習および推論をサポートする。
• アナログ勾配蓄積と動的リファレンススケーリング（AGAD）を用いたハードウェアに配慮した学習（HWA）を実装し、確率的勾配降下法（SGD）によるアナログ重み更新をサポートする。
• ユーザーがアナログタイルや推論タイルなどのコアコンponentをオーバーライドすることで機能を拡張可能であり、カスタム周辺論理を統合できるモジュラーソフトウェアアーキテクチャを提供する。
• Analog AI Cloud Composer（管理型クラウドプラットフォーム）と統合し、シミュレート済みおよび物理的AIMCハードウェアへのアクセスを可能にし、エンドツーエンドの評価を実現する。

Figure 1: (a), Illustration of a potential AIMC chip. (b) AIMC devices implemented in AIHWKit and their properties.

実験結果

リサーチクエスチョン

• RQ1 デバイスおよび回路非理想性を考慮した状態で、どのようにしてDNNをアナログ・インメモリコンピューティングハードウェア上で効果的に学習および推論できるか？
• RQ2 抵抗性メモリデバイスのノイズが多く、非線形性を示す特性下でも、DNNの精度を維持できる主なハードウェアに配慮した学習戦略は何か？
• RQ3 SPICEレベルのシミュレーションを必要とせずに、高水準のDNNフレームワーク統合と低水準のハードウェアモデリングを両立できるように、AIHWKitのようなシミュレーションツールキットはどのようにアーキテクチャ設計されるべきか？
• RQ4 AIMCベースの推論において、さまざまな精度および量子化方式（例：ビットスライシング、ミックスド・プレシジョン）の性能と精度のトレードオフは何か？
• RQ5 コミュニティ主導のオープンソース開発が、アナログAIハードウェア研究分野におけるツールの分断を低減し、研究進展を加速する仕組みは何か？

主な発見

• AIHWKitは、RTN、コンダクタンス非線形性、ADC/DAC量子化といったリアルなデバイス非理想性を含めた、AIMCハードウェア上でのDNN推論および学習の正確なシミュレーションを可能にする。
• アナログ勾配蓄積（AGAD）と動的リファレンススケーリングを用いたハードウェアに配慮した学習により、顕著なデバイスばらつき下でも、デジタル学習と同等のDNN精度を維持できる。
• 可変解像度のADC/DAC解像度を備えたミックスド・プレシジョン推論および学習をサポートしており、研究者が低精度演算のモデル性能への影響を評価できる。
• Analog AI Cloud Composerは、シミュレート済みおよび物理的AIMCハードウェアへのシームレスなアクセスを提供し、クラウドベース環境でのエンドツーエンドDNN評価を可能にする。
• 新しい周辺演算やオプティマイザ実装といったAIHWKitのカスタム拡張は、プルリクエストを通じて貢献可能であり、長期的な保守性とコミュニティの採用を保証する。
• 本ツールキットは、さまざまなアーキテクチャおよびデバイスパラメータを用いてDNNのシミュレーションおよび評価に成功しており、複数の研究（例：[75, 76, 61, 22]）で結果が発表されている。

Figure 2: (a) Mapping of a neural network to an AIMC chip. (b) Implementation of in-memory SGD weight update. (c) Implementation of TTv2 weight update. (d) Implementation of mixed-precision weight update.