[論文レビュー] Mixed-precision training of deep neural networks using computational memory

S. R. Nandakumar, Manuel Le Gallo+4 more|arXiv (Cornell University)|Dec 4, 2017

Advanced Memory and Neural Computing参考文献 29被引用数 11

ひとこと要約

本稿では、低精度の行列-ベクトル乗算に抵抗性クロスバー配列を用い、重み更新の蓄積に高精度デジタルユニットを組み合わせる混合精度学習アーキテクチャを提案する。必要に応じてスパースで高精度の重み更新を適用することで、現実的な相変化メモリ（PCM）モデルを用いてMNISTで97.40%のテスト精度を達成し、確率的挙動や更新粒度の制限といった非理想性を克服した。

ABSTRACT

Deep neural networks have revolutionized the field of machine learning by providing unprecedented human-like performance in solving many real-world problems such as image and speech recognition. Training of large DNNs, however, is a computationally intensive task, and this necessitates the development of novel computing architectures targeting this application. A computational memory unit where resistive memory devices are organized in crossbar arrays can be used to locally store the synaptic weights in their conductance states. The expensive multiply accumulate operations can be performed in place using Kirchhoff's circuit laws in a non-von Neumann manner. However, a key challenge remains the inability to alter the conductance states of the devices in a reliable manner during the weight update process. We propose a mixed-precision architecture that combines a computational memory unit storing the synaptic weights with a digital processing unit and an additional memory unit accumulating weight updates in high precision. The new architecture delivers classification accuracies comparable to those of floating-point implementations without being constrained by challenges associated with the non-ideal weight update characteristics of emerging resistive memories. A two layer neural network in which the computational memory unit is realized using non-linear stochastic models of phase-change memory devices achieves a test accuracy of 97.40% on the MNIST handwritten digit classification problem.

研究の動機と目的

• 計算メモリベースのDNN学習における非理想抵抗性メモリデバイス（更新粒度の制限、確率的挙動、非線形性など）の課題に対処すること。
• 現在、最先端性能に達していないが、今後の抵抗性メモリ技術を用いて高精度のディープニューラルネットワーク学習を可能にすること。
• 抵抗性デバイスへの頻繁な不正確な重み更新を最小限に抑えることで、メモリ内計算のエネルギー的・速度的利点を維持すること。
• 前向き伝搬と逆伝搬の両方で計算メモリの効率を活用しつつ、高精度デジタル蓄積による正確な重み更新を保証するハイブリッドアーキテクチャの開発

提案手法

• アーキテクチャは、相変化メモリ（PCM）デバイスをクロスバー配列に配置した計算メモリユニットを用い、導電率状態としてシナプス重みを格納し、キルヒホッフの法則に従ってイン・サス・行列-ベクトル乗算を実現する。
• 重み更新は高精度デジタルユニットに蓄積され、抵抗性メモリデバイスへの直接的かつ頻繁なプログラミングを回避する。
• 蓄積された更新量がデバイスの最小更新粒度と同等に達すると、メモリアレイに1パルスのみを適用する。
• 読み取りなしのブラインド・ワンパルスプログラミング戦略を採用し、オーバーヘッドと遅延を低減する。
• システムは、蓄積誤差がデバイスの分解能を超えた場合にのみ更新を適用するスパース更新メカニズムを用いることで、プログラミングイベントの回数を最小限に抑える。
• 蓄積と並行してしきい値処理と減算処理を実行することで、追加のメモリアクセスオーバーヘッドを回避する。

実験結果

リサーチクエスチョン

• RQ1 混合精度アーキテクチャは、抵抗性メモリデバイスの非理想挙動（確率的挙動、更新粒度の制限など）を緩和できるか？
• RQ2 計算メモリベースの行列-ベクトル乗算を、学習精度を損なわずに効率的な前向き伝搬と逆伝搬に活用できる程度はどの程度か？
• RQ3 高精度の重み更新蓄積は、標準的な確率的勾配降下法（SGD）と比較して収束性および最終的な精度においてどのように異なるか？
• RQ4 抵抗性メモリベースのシステムにおいて、稀で高精度な更新が学習効率およびエネルギー消費に与える影響は何か？
• RQ5 非線形的かつ非対称的な導電率応答を示す現実的なPCMデバイスモデルを、混合精度更新戦略と組み合わせても、依然として高精度な分類が達成可能か？

主な発見

• 提案アーキテクチャは、現実的な90 nm相変化メモリモデルを用いて、MNIST手書き数字分類タスクで97.40%のテスト精度を達成した。
• 低精度の計算メモリとスパースなデバイス更新を用いながらも、フル精度浮動小数点学習と同等の分類精度を維持した。
• 頻度の低い高精度更新のおかげで、抵抗性メモリのプログラミングイベント数が数個のオーダーも減少した。
• 導電率プログラミングの非対称性、非線形性、確率的挙動といったデバイスレベルの非理想性に対しても、システムは頑健であった。
• 高精度蓄積とスパース更新メカニズムにより、顕著なエネルギーおよび時間的節約が可能になったが、学習収束性は保持された。
• 重み更新管理のオーバーヘッドを最小限に抑えつつ、O(N²)の行列-ベクトル演算を固定時間で高速化することで、メモリ内計算の計算効率を維持した。