[論文レビュー] ALERT: Accurate Learning for Energy and Timeliness

Chengcheng Wan, Muhammad Husni Santriaji+4 more|arXiv (Cornell University)|Oct 31, 2019

Advanced Neural Network Applications参考文献 99被引用数 11

ひとこと要約

ALERTは、動的で変化する遅延、精度、エネルギー制約を満たすために、DNNモデル選択とシステムリソース構成を統合的に最適化するクロススタックランタイムスケジューラである。環境の変動性を検出するために確率的モデルを用いることで、アプリケーションレベルとシステムレベルの適応を調整し、非協調的な手法に比べて13%低いエネルギー消費と27%少ない推論エラーを達成している。また、理想のオラクルシステムに比べてエネルギー消費は3%多く、誤差は2%高いにとどまり、非常に高い性能を発揮している。

ABSTRACT

An increasing number of software applications incorporate runtime Deep Neural Networks (DNNs) to process sensor data and return inference results to humans. Effective deployment of DNNs in these interactive scenarios requires meeting latency and accuracy constraints while minimizing energy, a problem exacerbated by common system dynamics. Prior approaches handle dynamics through either (1) system-oblivious DNN adaptation, which adjusts DNN latency/accuracy tradeoffs, or (2) application-oblivious system adaptation, which adjusts resources to change latency/energy tradeoffs. In contrast, this paper improves on the state-of-the-art by coordinating application- and system-level adaptation. ALERT, our runtime scheduler, uses a probabilistic model to detect environmental volatility and then simultaneously select both a DNN and a system resource configuration to meet latency, accuracy, and energy constraints. We evaluate ALERT on CPU and GPU platforms for image and speech tasks in dynamic environments. ALERT's holistic approach achieves more than 13% energy reduction, and 27% error reduction over prior approaches that adapt solely at the application or system level. Furthermore, ALERT incurs only 3% more energy consumption and 2% higher DNN-inference error than an oracle scheme with perfect application and system knowledge.

研究の動機と目的

• 予測不可能なシステム状態下で、動的変化する遅延、精度、エネルギー制約を満たす課題に対処すること。
• アプリケーションレベルまたはシステムレベルでのみ適応を行う従来の手法の限界を克服すること。
• DNNモデルとシステムリソース構成の間で包括的かつ協調的なランタイム適応を可能にし、全体的なシステム効率を向上させること。
• 制約違反（例：デッドラインの逸脱）を最小限に抑えながら、実世界の動的環境におけるエネルギー消費と推論エラーを削減すること。
• 動的で共存するワークロード環境において、最小限のオーバーヘッドでオラクルに近い性能を達成すること。

提案手法

• Kalmanフィルタリングに基づく確率的モデルを用いて、多様なDNNとシステム構成における推論遅延の分布を推定・追跡する。
• システム全体の環境的変動性をモデル化するためのグローバルスローダウン要因を導入し、すべてのDNNおよびリソース構成における遅延の同時予測を可能にする。
• ユーザー定義の制約を満たすために、DNNモデルとシステムリソース設定の両方を同時に選択する多目的最適化戦略を採用する。
• 遅延推定の平均値と分散の両方を活用することで、システムのばらつきを考慮し、適応のロバスト性を向上させる。
• 従来型およびAnytime DNNをサポートし、推論中に精度と遅延のトレードオフを動的に制御可能にする。
• リソース競合や入力のダイナミクスなど、変化するシステム状態に継続的に適応するフィードバック制御を用いる。

実験結果

リサーチクエスチョン

• RQ1 DNNモデルとシステムリソースの間で協調的な適応を実施することで、アプリケーションレベルまたはシステムレベルでの個別的適応に比べ、エネルギー、遅延、精度のトレードオフをより良く実現できるか？
• RQ2 リソース競合下での動的システム行動を予測するにあたり、分散を考慮した推定を用いた確率的モデルはどの程度有効か？
• RQ3 DNNとシステム構成の共同選択は、実世界のワークロードにおいて、推論エラーとエネルギー消費をどの程度低減できるか？
• RQ4 実際の状況では、非ガウス分布の遅延分布に対しても、このシステムはどの程度ロバストか？
• RQ5 動的で共存する環境において、このアプローチは最小限のランタイムオーバーヘッドで、オラクルに近い性能を達成できるか？

主な発見

• ALERTは、アプリケーションまたはシステムレベルでのみ適応を行う従来の手法に比べ、エネルギー消費を13%以上削減している。
• ALERTは、非協調的適応手法に比べ、DNN推論エラーを27%低減しており、動的制約下でも精度が著しく向上している。
• ALERTは、アプリケーションおよびシステム状態を完全に把握したオラクルシステムに比べ、エネルギー消費は3%多く、推論エラーは2%高いにとどまり、非常に高い性能を発揮している。
• 遅延推定の平均値と分散の両方を活用するALERTの確率的設計は、単に平均遅延予測に依存する簡素化されたモデルを上回る性能を発揮している。
• ALERTは、観測された遅延のばらつきがガウス分布の仮定から逸脱しても、高い精度を維持するというロバスト性を示している。
• グローバルスローダウン要因モデルにより、すべての構成に対する同時予測が可能であるため、ALERTは迅速な応答時間を達成しており、適応に1入力分の遅延しか発生しない。