[論文レビュー] The Benefit of the Doubt: Uncertainty Aware Sensing for Edge Computing Platforms

Lorena Qendro, Jagmohan Chauhan+2 more|arXiv (Cornell University)|Feb 11, 2021

Adversarial Robustness in Machine Learning参考文献 52被引用数 4

ひとこと要約

この論文は、エッジデバイスにおける深層ニューラルネットワークの不確実性に配慮した推論のための計算効率の良いフレームワークを提案している。層ごとの分布近似を活用し、再トレーニングや複数回の推論実行を必要とせず、1回の順伝播で予測不確実性を推定する。最新の手法と比較して最大28倍のエネルギー消費削減と16%の高い精度を達成しながら、最小限のメモリオーバーヘッドを維持している。

ABSTRACT

Neural networks (NNs) lack measures of "reliability" estimation that would enable reasoning over their predictions. Despite the vital importance, especially in areas of human well-being and health, state-of-the-art uncertainty estimation techniques are computationally expensive when applied to resource-constrained devices. We propose an efficient framework for predictive uncertainty estimation in NNs deployed on embedded edge systems with no need for fine-tuning or re-training strategies. To meet the energy and latency requirements of these embedded platforms the framework is built from the ground up to provide predictive uncertainty based only on one forward pass and a negligible amount of additional matrix multiplications with theoretically proven correctness. Our aim is to enable already trained deep learning models to generate uncertainty estimates on resource-limited devices at inference time focusing on classification tasks. This framework is founded on theoretical developments casting dropout training as approximate inference in Bayesian NNs. Our layerwise distribution approximation to the convolution layer cascades through the network, providing uncertainty estimates in one single run which ensures minimal overhead, especially compared with uncertainty techniques that require multiple forwards passes and an equal linear rise in energy and latency requirements making them unsuitable in practice. We demonstrate that it yields better performance and flexibility over previous work based on multilayer perceptrons to obtain uncertainty estimates. Our evaluation with mobile applications datasets shows that our approach not only obtains robust and accurate uncertainty estimations but also outperforms state-of-the-art methods in terms of systems performance, reducing energy consumption (up to 28x), keeping the memory overhead at a minimum while still improving accuracy (up to 16%).

研究の動機と目的

• リソース制約のあるエッジデバイスに配置されたディープラーニングモデルにおける信頼性の高い不確実性推定を可能にすること。
• 埋め込みシステムにおけるモンテカルロドロップアウト やディープアンサンブルといった既存の不確実性推定技術の高い計算コストを解決すること。
• 再トレーニングやファインチューニングを必要とせず、すでにトレーニング済みのモデルのみを用いて不確実性推定を提供すること。
• 解釈可能性と信頼性が重要なモバイルおよび埋め込みアプリケーションにおける分類タスクを支援すること。
• 既存の不確実性に配慮した推論手法と比較して、エネルギー、遅延、メモリオーバーヘッドを低減すること。

提案手法

• フレームワークは、ドロップアウトトレーニングとベイジアンニューラルネットワークにおける近似ベイジアン推論の理論的同等性を利用している。
• 特徴マップのガウス近似を用いて、決定論的な畳み込み層を確率的層に変換する層ごとの分布近似を導入している。
• 不確実性は、複数回の推論実行を回避するための段階的で1回の順伝播による方法でネットワーク全体に伝搬される。
• 各層あたり追加の行列乗算がほとんど追加されないため、計算オーバーヘッドが非常に低い。
• ドロップアウトをトレーニング時に使用した任意の事前トレーニング済みCNNと互換性があり、再トレーニングが不要である。
• 各層での予測分布を平均と分散でモデル化することで、推論時における不確実性の定量化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 事前トレーニング済みのディープラーニングネットワークにおいて、再トレーニングを伴わずエッジデバイス上で効率的な予測不確実性推定が可能か。
• RQ2 リアルタイムで低消費電力な埋め込みシステムにおいて、不確実性推定を実用的に行えるか。
• RQ3 エッジAIにおける不確実性推定の正確さとシステム効率（エネルギー、遅延、メモリ）のトレードオフは何か。
• RQ4 1回の順伝播手法が、モンテカルロドロップアウトのような複数回推論手法を上回る精度と効率を達成できるか。
• RQ5 GPUを搭載しないプラットフォームを含め、さまざまな埋め込みプラットフォームにおける本手法のスケーラビリティはいかが。

主な発見

• 提案手法は、エッジデバイス上でのモンテカルロドロップアウトと比較して最大28倍、ディープアンサンブルと比較して最大8倍のエネルギー消費削減を達成した。
• 最新の手法と比較して最大16%高い精度を達成しながら、最小限のメモリオーバーヘッド（最大5%の増加）を維持した。
• フレームワークは、計算リソースが限られたデバイスに適した、ほとんど無視できるランタイムオーバーヘッドで不確実性推定を可能にした。
• NVIDIA Jetson Nanoでは、CPUオンリーカン figure でも効率的に動作し、低性能なエッジハードウェアでも実用性を示した。
• ApDeepSense や他のベースラインと比較して、遅延とエネルギー効率の両面で優れた性能を示し、最近の手法の1つと比較して20%の速度優位性を達成した。
• 複数のモバイルおよび埋め込みデータセットにおいて、本手法は一般化性と信頼性を示す、強固な不確実性推定を維持した。