[論文レビュー] Intelligence Beyond the Edge: Inference on Intermittent Embedded Systems

Graham Gobieski, Nathan Beckmann+1 more|arXiv (Cornell University)|Sep 28, 2018

Parallel Computing and Optimization Techniques参考文献 67被引用数 20

ひとこと要約

本論文では、ループ継続という技術を導入することで、間欠的でエネルギー収集可能な埋め込みシステムにおける効率的なディープニューラルネットワーク（DNN）推論を可能にするソフトウェアシステムSonicを提示する。この技術により、構造的で同一性保証の可能なループ処理によって、間欠実行におけるオーバーヘッドを低減する。TailsとGenesisを用いた最適化されたソフトウェareとハードウェアの共同設計により、最先端の手法と比較して最大12.2倍のエネルギー削減を達成する。

ABSTRACT

Energy-harvesting technology provides a promising platform for future IoT applications. However, since communication is very expensive in these devices, applications will require inference "beyond the edge" to avoid wasting precious energy on pointless communication. We show that application performance is highly sensitive to inference accuracy. Unfortunately, accurate inference requires large amounts of computation and memory, and energy-harvesting systems are severely resource-constrained. Moreover, energy-harvesting systems operate intermittently, suffering frequent power failures that corrupt results and impede forward progress. This paper overcomes these challenges to present the first full-scale demonstration of DNN inference on an energy-harvesting system. We design and implement SONIC, an intermittence-aware software system with specialized support for DNN inference. SONIC introduces loop continuation, a new technique that dramatically reduces the cost of guaranteeing correct intermittent execution for loop-heavy code like DNN inference. To build a complete system, we further present GENESIS, a tool that automatically compresses networks to optimally balance inference accuracy and energy, and TAILS, which exploits SIMD hardware available in some microcontrollers to improve energy efficiency. Both SONIC & TAILS guarantee correct intermittent execution without any hand-tuning or performance loss across different power systems. Across three neural networks on a commercially available microcontroller, SONIC & TAILS reduce inference energy by 6.9x and 12.2x, respectively, over the state-of-the-art.

研究の動機と目的

• 通信コストが高いため、エネルギー収集可能で間欠的な埋め込みシステムにおいて、高精度かつ低エネルギーなDNN推論を可能にすること。
• メモリや処理能力が限られたマイコンにおいて、リソース制約の下で間欠的実行の課題に対処すること。
• DNN推論のようなループ中心のワークロードにおいて、正しく動作させるために生じる性能およびエネルギーのオーバーヘッドを低減すること。
• 自動化されたニューラルネットワーク圧縮を通じて、推論精度とエネルギー消費のトレードオフを最適化すること。
• ソフトウェア（Sonic）、ハードウェアの活用（Tails）、モデル圧縮（Genesis）を統合したフルスタックソリューションを設計し、エンドツーエンドの効率性を実現すること。

提案手法

• ループ継続という新技術を導入し、ループ順序バッファリングとスパarsなアンダーログ記録を用いて同一性を保証することで、安全で低オーバーヘッドなDNN推論ループの実行を可能にする。
• 非揮発性メモリの選択的変更と、完全なタスクベースの抽象化の回避により、正しく間欠的実行を保証するソフトウェアシステムSonicを設計する。
• マイコン上のSIMDハードウェアを活用することで、DNN推論中のエネルギー効率を向上させるTailsを設計する。
• DNNを自動的に圧縮し、IoTアプリケーション向けに推論精度とエネルギー消費の最適なバランスを実現するGenesisを開発する。
• 畳み込み層にはループ順序バッファリング、全結合層にはスパースなアンダーログ記録を適用し、電源断時にも正しく動作することを保証する。
• ソフトウェア、ハードウェアに配慮したコンパイル、モデル圧縮を統合したフルスタックアプローチを採用し、正確性を維持しながらエネルギーオーバーヘッドを最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、リソース制約が激しく、エネルギー収集可能な間欠的で埋め込み可能なシステムにおいて、DNN推論を効率的に実行できるか？
• RQ2 正しく動作させるために生じるオーバーヘッド、特にDNN推論のようなループ中心のコードに対して、どのようにして低減できるか？
• RQ3 リソース制約の激しいIoTデバイスにおいて、推論精度とエネルギー消費のトレードオフを自動的に最適化するにはどうすればよいか？
• RQ4 SIMDのようなハードウェア機能を効果的に活用することで、間欠的DNN推論におけるエネルギー効率を向上させられるか？
• RQ5 どのようなアーキテクチャ的およびソフトウェアの共同設計の原則が、間欠的電源を備えた一般のマイコン上で、効率的かつ正しく実行を可能にするか？

主な発見

• Sonicは、間欠的実行システムにおける最先端の手法と比較して、推論エネルギーを最大6.9倍削減した。
• Tailsは、マイコン上で効率的な計算を実現するためのSIMDハードウェアを活用することで、推論エネルギーを12.2倍削減した。
• SonicとTailsの組み合わせにより、間欠的電源を備えた商業的に入手可能なマイコン上で完全なDNN推論が可能となり、これが初めてのエンドツーエンドシステムであることを実証した。
• Genesisは、精度とエネルギー消費のバランスを最適化することで、アプリケーションレベルのパフォーマンスを最大化するように自動的にニューラルネットワークを圧縮する。
• ループ継続は、DNN推論の規則的な構造を活用することで、一般の間欠的実行メカニズムに比べて高いコストを回避し、オーバーヘッドを低減した。
• 調整なしで、さまざまな電源環境において正しく動作し、パフォーマンスの低下なしに、耐障害性と移植性を示した。