[論文レビュー] Learning Machines Implemented on Non-Deterministic Hardware

Suyog Gupta, Vikas Sindhwani+1 more|arXiv (Cornell University)|Sep 9, 2014

Low-power high-performance VLSI design参考文献 24被引用数 3

ひとこと要約

本論文では、精度を犠牲にして速度とエネルギー効率を向上させる非決定的で確率的なハードウェアに、機械学習ワークロードの主要な行列計算をオフロードすることで、その処理を加速する手法を提案している。デジタル確率的回路を用いて行列乗算を近似することで、著者らは、ノイズの多いこのハードウェア上で訓練された深層ニューラルネットワークが、正確な計算と比較して同等またはわずかに向上したテスト精度を達成することを実証した。これは、大規模な学習システムにおける誤差耐性を持つハードウェア・ソフトウェア共同最適化の実現可能性を裏付けている。

ABSTRACT

This paper highlights new opportunities for designing large-scale machine learning systems as a consequence of blurring traditional boundaries that have allowed algorithm designers and application-level practitioners to stay -- for the most part -- oblivious to the details of the underlying hardware-level implementations. The hardware/software co-design methodology advocated here hinges on the deployment of compute-intensive machine learning kernels onto compute platforms that trade-off determinism in the computation for improvement in speed and/or energy efficiency. To achieve this, we revisit digital stochastic circuits for approximating matrix computations that are ubiquitous in machine learning algorithms. Theoretical and empirical evaluation is undertaken to assess the impact of the hardware-induced computational noise on algorithm performance. As a proof-of-concept, a stochastic hardware simulator is employed for training deep neural networks for image recognition problems.

研究の動機と目的

• 非決定的で近似計算可能なハードウェアを用いて、大規模な機械学習ワークロードを加速する可能性を検討すること。
• ムーアの法則の緩やかさに伴い、従来の汎用プロセッサにおける性能とエネルギー効率のギャップが拡大するのを是するための対策を講じること。
• 機械学習アルゴリズムが内在的に持つノイズ耐性を活用するハードウェア・ソフトウェア共同最適化フレームワークを設計すること。
• 確率的ハードウェアが引き起こすノイズが、精度を損なわず学習性能を向上または維持できるかどうかを評価すること。
• ソフトウェア開発のオーバーヘッドを最小限に抑え、プログラミングモデルを変更せずに実用的な統合を可能にすること。

提案手法

• 著者らは、数をランダムなビット列として表現するデジタル確率的回路を用い、機械学習の中心的役割を果たす行列乗算の近似計算を可能にしている。
• 特に行列乗算カーネルにおける確率的計算に起因する統計的誤差をモデル化するためのハイレベルな抽象化を導入している。
• フレームワークは、確率的ハードウェアアクセラレータをトレーニングパイプラインに統合し、バックプロパゲーションなどの計算集約的処理を実行している。
• ノイズレベルを制御するための新しいハイパーパrameterとして、調整可能な確率的ビット列長Nを採用し、バッチ勾配降下法を用いている。
• ホストプロセッサはアクセラレータを管理し、トレーニングを調整しているが、確率的ハードウェアは順伝播および逆伝播の過程で制御されたノイズを導入している。
• 本手法は、MNISTデータセットを用いた深層ニューラルネットワークを用いて評価されており、Nによって定義されるさまざまなノイズレベル下でのトレーニングが実施されている。

実験結果

リサーチクエスチョン

• RQ1 非決定的で近似計算可能なハードウェアを用いて、モデルの精度を損なわず機械学習を加速できるか？
• RQ2 確率的回路が引き起こすハードウェア由来の計算ノイズが、勾配ベースの学習アルゴリズムの収束性と性能に与える影響は何か？
• RQ3 確率的計算がもたらすノイズが、深層ニューラルネットワークの一般化性能を向上させる正則化効果を示すか？
• RQ4 確率的ビット列長Nがトレーニングの安定性および最終的なモデル精度に与える影響は何か？
• RQ5 既存の機械学習ワークフローに確率的ハードウェアアクセラレータを統合する際、プログラミングモデルを変更せずに済むか？

主な発見

• N = 256の確率的ハードウェア上でトレーニングされた深層ニューラルネットワークは、テスト誤差率1.62%を達成し、正確な計算を用いたコントロールモデルの1.75%よりもわずかに優れた性能を示した。
• 確率的ビット列長Nを短くすると、トレーニング交差エントロピー誤差は単調に増加したが、すべてのN値でテスト精度は安定的または向上した。
• ノイズの多いハードウェア上でトレーニングした際の分類精度の向上は、確率的ノイズが弱い正則化効果を示しており、一般化性能の向上に寄与している可能性を示唆している。
• 確率的ハードウェア上で重み初期化をスタックドスパースオートエンコーダーを用いて事前学習したネットワークは、コントロールモデルで1.35%のテスト誤差を達成し、確率的ハードウェアでトレーニングしたモデルはそれ以下の誤差率を示した。
• Nの値を64から512の広い範囲にわたって変化させても、正確な計算を上回るか同等の性能が得られ、ハードウェアノイズに対する広い耐性窓が存在することが示された。
• 結果から、確率的ハードウェアをソフトウェアスタックやモデルアーキテクチャの変更なしに実用的なアクセラレータとして使用可能であることが明らかになった。