[論文レビュー] Adaptive Extreme Edge Computing for Wearable Devices

Erika Covi, Elisa Donati+5 more|arXiv (Cornell University)|Dec 29, 2020

Advanced Memory and Neural Computing参考文献 249被引用数 7

ひとこと要約

本論文は、ウェアラブルデバイスにおける適応的エッジコンピューティングのための包括的で共同設計されたプラットフォームを提案する。神経モルフィックプロセッサ、メモリスティブメモリ、生物学的に妥当な学習アルゴリズムを統合し、低消費電力、リアルタイム、継続的学習を可能にする。イベントベースのスパイクニューラルネットワーク（SNN）とメモリ内コンピューティングを活用することで、遅延とエネルギー消費を低減し、動的センサデータへのデバイス内適応を可能にする。

ABSTRACT

Wearable devices are a fast-growing technology with impact on personal healthcare for both society and economy. Due to the widespread of sensors in pervasive and distributed networks, power consumption, processing speed, and system adaptation are vital in future smart wearable devices. The visioning and forecasting of how to bring computation to the edge in smart sensors have already begun, with an aspiration to provide adaptive extreme edge computing. Here, we provide a holistic view of hardware and theoretical solutions towards smart wearable devices that can provide guidance to research in this pervasive computing era. We propose various solutions for biologically plausible models for continual learning in neuromorphic computing technologies for wearable sensors. To envision this concept, we provide a systematic outline in which prospective low power and low latency scenarios of wearable sensors in neuromorphic platforms are expected. We successively describe vital potential landscapes of neuromorphic processors exploiting complementary metal-oxide semiconductors (CMOS) and emerging memory technologies (e.g. memristive devices). Furthermore, we evaluate the requirements for edge computing within wearable devices in terms of footprint, power consumption, latency, and data size. We additionally investigate the challenges beyond neuromorphic computing hardware, algorithms and devices that could impede enhancement of adaptive edge computing in smart wearable devices.

研究の動機と目的

• クラウドベースの処理における従来のウェアラブルデバイスの限界、特に高消費電力、遅延、データ送信のボトルネックを解消すること。
• リアルタイムバイオシグナル処理においてボルン・ニューマンアーキテクチャの非効率性を克服し、計算をエッジに移行すること。
• 災害的忘却を低減する生物学的にインスパイアされたアルゴリズムを用いて、ウェアラブルセンサでの継続的かつ適応的学習を可能にすること。
• 特にメモリスティブデバイスを含む新興技術をニューロモルフィックハードウェアに統合し、エネルギー効率と非揮発性を向上させること。
• センサ、フロントエンド回路、ニューロモルフィックプロセッサ、学習アルゴリズムを統合し、低フットプリントかつ低消費電力な統合システムを構築すること。

提案手法

• 生物的神経動態を模倣する非同期的で低消費電力なセンサデータ処理を実現するため、イベントベースのスパイクニューラルネットワーク（SNN）を採用する。
• CMOSとメモリスティブデバイスを用いてメモリ内コンピューティングを実装し、メモリと処理を同一位置に配置することで、データ移動とエネルギー消費を最小限に抑える。
• スレーブレジスタ（SRAM）の代わりに非揮発性メモリスティブデバイスを用いてシナプス重みを保存することで、消費電力を低減し、チップ面積を削減する。
• アナログのサブスレッショルド回路を統合し、生物学的時間定数を模倣することで、時間的バイオシグナルのリアルタイムかつ連続的処理を可能にする。
• センサとニューロモルフィックプロセッサ間のストリームレスで効率的な通信を実現するための新しいスパイク符号化技術を開発する。
• センサインターフェースから学習アルゴリズムに至るまで、システムスタック全体を共同設計することで、ハードウェアとソフトウェアの各レイヤー間での相互運用性と最適なパフォーマンスを確保する。

実験結果

リサーチクエスチョン

• RQ1 ニューロモルフィックコンピューティングアーキテクチャは、従来のボルン・ニューマンシステムと比較して、ウェアラブルバイオセンサにおける消費電力と遅延をどのように低減できるか？
• RQ2 メモリスティブデバイスは、エッジニューロモルフィックプロセッサにおける非揮発的でコンactかつエネルギー効率の良いシナプス記憶を実現するために果たす役割は何か？
• RQ3 SNNにおける生物学的に妥当な学習ルールは、ウェアラブルデバイスで災害的忘却を回避しながら継続的学習をどのように支援できるか？
• RQ4 エッジコンピューティング用ウェアラブルプラットフォームにおいて、フットプリント、消費電力、遅延、データサイズの間の主要なシステムレベルのトレードオフは何か？
• RQ5 イベントベース処理とメモリ内コンピューティングをどのように共同最適化することで、連続的バイオシグナルのリアルタイムかつ適応的処理を実現できるか？

主な発見

• イベントベースのSNNとメモリ内コンピューティングを組み合わせることで、データ移動と消費電力を低減し、低遅延でリアルタイム処理を実現できる。
• メモリスティブデバイスは、シナプス重みの保存にSRAMの代替としてコンパactsで非揮発的であり、CMOSコンデンサと比較してチップ面積を最大60％まで削減できる可能性を有する。
• SNNにおける生物学的に妥当な学習ルールは継続的学習を支援するが、ハードウェアノイズやデバイスばらつきに対する耐性の面で課題が残っている。
• センサから学習アルゴリズムに至るまでシステムスタック全体を共同設計することで、包括的な最適化が可能となり、エネルギー効率とシステムパフォーマンスが向上する。
• アナログサブスレッショルド回路とスパイク符号化技術の統合により、最小限の消費電力オーバーヘッドで時間的バイオシグナルの滑らかでリアルタイムの処理が可能になる。
• 進展は見られたが、デバイスばらつきとメモリスティブ技術のための標準化されたプロセスが不足していることが、信頼性の高い展開を阻害する主な障壁のままである。