[論文レビュー] PIM-QAT: Neural Network Quantization for Processing-In-Memory (PIM) Systems

Qing Jin, Zhiyu Chen+4 more|arXiv (Cornell University)|Sep 18, 2022

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

本稿では、PIMの固有のハードウェア制約（低分解能のアナログ・デジタル変換やノイズや非線形性などの非理想効果）を考慮した、処理記憶統合（PIM）システム向けの量子化に配慮した訓練（PIM-QAT）手法を提案する。前向きおよび逆伝搬の両方でリスケーリングを統合し、バッチ正規化（BN）キャリブレーションと調整された精度訓練を用いることで、CIFAR10およびCIFAR100のさまざまなネットワーク深さにおいて、従来の量子化モデルがデジタルハードウェアで達成するのと同等の推論精度をPIMシステムで達成している。

ABSTRACT

Processing-in-memory (PIM), an increasingly studied neuromorphic hardware, promises orders of energy and throughput improvements for deep learning inference. Leveraging the massively parallel and efficient analog computing inside memories, PIM circumvents the bottlenecks of data movements in conventional digital hardware. However, an extra quantization step (i.e. PIM quantization), typically with limited resolution due to hardware constraints, is required to convert the analog computing results into digital domain. Meanwhile, non-ideal effects extensively exist in PIM quantization because of the imperfect analog-to-digital interface, which further compromises the inference accuracy. In this paper, we propose a method for training quantized networks to incorporate PIM quantization, which is ubiquitous to all PIM systems. Specifically, we propose a PIM quantization aware training (PIM-QAT) algorithm, and introduce rescaling techniques during backward and forward propagation by analyzing the training dynamics to facilitate training convergence. We also propose two techniques, namely batch normalization (BN) calibration and adjusted precision training, to suppress the adverse effects of non-ideal linearity and stochastic thermal noise involved in real PIM chips. Our method is validated on three mainstream PIM decomposition schemes, and physically on a prototype chip. Comparing with directly deploying conventionally trained quantized model on PIM systems, which does not take into account this extra quantization step and thus fails, our method provides significant improvement. It also achieves comparable inference accuracy on PIM systems as that of conventionally quantized models on digital hardware, across CIFAR10 and CIFAR100 datasets using various network depths for the most popular network topology.

研究の動機と目的

• PIM固有の量子化が原因で生じる顕著な精度低下（低分解能のアナログ・デジタル変換とハードウェアの非理想性に起因）を是正すること。
• PIMシステムの特異な計算フロー（行列乗算が小さなサブセットに分解される）を考慮した訓練手法を開発すること。
• PIM量子化のダイナミクスを前向きおよび逆伝搬の両方でモデル化することで、訓練の収束性と安定性を向上させること。
• 実際のPIMチップにおける非理想的な線形性と確率的熱雑音の悪影響を、ソフトウェアレベルのキャリブレーションと精度調整によって低減すること。
• デジタルハードウェアで従来の方法で量子化されたモデルが達成する精度と同等またはそれを上回るPIMシステム上の推論精度を達成すること。

提案手法

• PIM量子化ステップをバックプロパゲーションおよびフォワードパス中に明示的にモデル化するPIM量子化に配慮した訓練（PIM-QAT）アルゴリズムを提案する。
• 特に低PIMビット幅（例：3〜6ビット）においても、訓練のダイナミクスを安定化させ、収束性を向上させるために、前向きおよび逆伝搬の両方でリスケーリング技術を導入する。
• 実際のPIMチップにおける非線形性とノイズによって引き起こされる性能低下を軽減するために、バッチ正規化（BN）キャリブレーションを採用し、追加のトレーニングを必要とせずに耐障害性を向上させる。
• PIM伝達関数におけるゲインおよびオフセットの変動に起因するハードウェア由来の歪みを補償するために、調整された精度訓練を適用する。
• 3つのPIM分解方式および物理的プロトタイプチップを用いて手法を検証し、実世界の適用可能性を保証する。
• 理想化されたおよび実際のPIM量子化曲線を用いて、確率的ノイズや非線形性を含む非理想状態下での性能をシミュレートおよび評価する。

実験結果

リサーチクエスチョン

• RQ1 低分解能の量子化と非理想アナログ動作がモデル精度を著しく低下させるPIMシステムにおいて、どのようにして訓練を安定化できるか？
• RQ2 PIM量子化ステップが不可逆的かつハードウェア制約を受ける状況下で、収束性と精度を維持するための有効な訓練手法は何か？
• RQ3 BNキャリブレーションのようなソフトウェアレベルのキャリブレーション技術が、PIMシステムにおけるノイズや非線形性といったハードウェア非理想性をどれほど補償できるか？
• RQ4 統一された訓練手法が、デジタルハードウェア上で従来の方法で量子化されたモデルと同等またはそれ以上の精度をPIMシステムで達成できるか？
• RQ5 前向きおよび逆伝搬におけるリスケーリングは、低PIMビット幅（例：3〜5ビット）における訓練の安定性と最終的な精度にどのように影響を与えるか？

主な発見

• ResNet20を用いたCIFAR10では、8ビットPIM量子化でPIM-QATが90.8％のトップ1精度を達成し、デジタルハードウェア上で従来の方法で量子化されたモデルと同等の性能を示した。
• 7ビットPIM量子化の場合、PIM-QATは90.8％の精度を達成したが、ベースライン手法は完全に失敗（10.0％の精度）し、PIMに配慮した訓練の必要性を示した。
• 前向きおよび逆伝搬におけるリスケーリングは不可欠である：これがないと、低ビット幅（例：3〜5ビット）では訓練が不安定になり、精度が20％未満に低下する。
• BNキャリブレーションは実PIMシステムでの性能を顕著に向上させ、理想化された状況と実状況の推論精度の差を縮小し、非線形性とノイズの影響からの回復を可能にした。
• ゲインおよびオフセットの変動を示す72および144本のPIM伝達曲線を用いた場合、BNキャリブレーションにより、精度がほぼランダム（10.0％）から90％以上に回復し、実世界のキャリブレーションにおける有効性を実証した。
• 本手法は、さまざまなPIM分解方式およびネットワーク深さに一般化可能であり、CIFAR10およびCIFAR100におけるResNet20およびResNet56において一貫した性能を達成した。