[論文レビュー] Energy-efficient Machine Learning in Silicon: A Communications-inspired Approach

Naresh R. Shanbhag|arXiv (Cornell University)|Oct 25, 2016

Low-power high-performance VLSI design参考文献 17被引用数 6

ひとこと要約

本論文は、低消費電力通信IC設計技術とシャノンにちなんだ統計的誤り補償（SEC）を活用して、確率的で低エネルギーな回路基盤上で信頼性高く動作する機械学習（ML）システムを実現する、通信分野にインspiredしたエネルギ効率の良い機械学習のアプローチを提案している。統計的推定と検出により、最大80%の高い計算誤り率を補償することで、最大6倍のエネルギー削減を達成し、ニアスレッシュホールドおよびメモリ内コンピューティング基盤上でも耐障害性の高い推論を可能にした。

ABSTRACT

This position paper advocates a communications-inspired approach to the design of machine learning systems on energy-constrained embedded `always-on' platforms. The communications-inspired approach has two versions - 1) a deterministic version where existing low-power communication IC design methods are repurposed, and 2) a stochastic version referred to as Shannon-inspired statistical information processing employing information-based metrics, statistical error compensation (SEC), and retraining-based methods to implement ML systems on stochastic circuit/device fabrics operating at the limits of energy-efficiency. The communications-inspired approach has the potential to fully leverage the opportunities afforded by ML algorithms and applications in order to address the challenges inherent in their deployment on energy-constrained platforms.

研究の動機と目的

• MLシステムと人間の脳の間のエネルギー効率のギャップを解消するため、埋め込み型プラットフォーム上で低消費電力なML実装を設計すること。
• MLアルゴリズムがノイズや誤りに内在的に頑健であることに着目し、確率的でエネルギー制限のある回路基盤上で動作可能にする。
• 特に誤り補償と統計的信号処理の原則を活用して、通信システムの知見を応用したエネルギ効率の良いMLシステムの開発。
• 確率的回路基盤をノイズのある通信チャネルとして扱い、エネルギー効率の限界まで動作可能にする。
• アルゴリズム的誤り耐性だけでは達成できないエネルギー消費の低減を実現するため、能動的誤り補償を組み込む。

提案手法

• 低消費電力通信IC設計手法を、エネルギ効率の良いMLシステム設計に再利用する。
• 情報理論的指標と統計的誤り補償（SEC）を用いた、確率的でシャノンにちなんだ統計的情報処理アプローチを導入。
• 確率的回路基盤をノイズのある通信チャネルとしてモデル化し、統計的推定と検出を用いて計算誤りを補償する。
• 再訓練ベースの手法（DDHR）を用いて、MLパラメータを基盤とデータのノイズに適応させる。
• SEC技術を用いたICプロトタイプを設計し、最大80%の誤り率で動作させながらも高い精度（Pdet > 90–95%）を維持する。
• SECをメモリ内コンピューティングおよびセンサ内コンピューティング基盤と統合し、データ移動を最小限に抑え、さらにエネルギーを削減する。

実験結果

リサーチクエスチョン

• RQ1 低消費電力通信システム設計の原則を、MLシステムのエネルギ効率向上に再利用するにはどうすればよいか？
• RQ2 MLアルゴリズムは、確率的回路基盤における高い計算誤り率にどの程度耐えられ、補償可能か？
• RQ3 シャノン理論に基づく統計的誤り補償（SEC）は、エネルギー制限のあるMLシステムにおいて、従来のフェイルセーフ技術を上回る性能を発揮できるか？
• RQ4 リアルタイムML推論において、時間変動するノイズおよびデータ統計を追跡できるように、SECをどのように適応可能にするか？
• RQ5 SECをメモリ内またはセンサ内コンピューティング基盤と組み合わせた場合、エネルギー削減の潜在的効果はどの程度か？

主な発見

• ICプロトタイプにSEC技術を適用することで、計算誤り率が最大80%に達する状況でも最大6倍のエネルギー削減を達成した。
• SECベースのICは、180nm CMOSでは誤り率が86%未満、45nm CMOSでは58%未満でも検出確率が90%以上を達成した。
• 本アプローチにより、ニアスレッシュホールド電圧で動作する確率的基盤上でも、信頼性の高いML推論が可能になった。エネルギーは約10倍削減されたが、遅延変動は最大20倍に増加した。
• 統計的誤り補償は、低エネルギーコストとアルゴリズムに適応した設計の両方の利点を持つため、Nモジュラー再冗長（NMR）などの従来のフェイルセーフ技術を上回る性能を発揮した。
• SECを再訓練（DDHR）およびイン・サイトでのデータ分析と組み合わせることで、メモリ内およびセンサ内コンピューティング基盤のような極めて信頼性の低い基盤上でも動作可能になった。
• プロトタイプ実装では、統計的推定と検出を用いて、60%や80%といった高い誤り率を補償でき、システムの精度を保持したことが実証された。