[論文レビュー] RDeepSense: Reliable Deep Mobile Computing Models with Uncertainty Estimations

Shuochao Yao, Yiran Zhao+5 more|arXiv (Cornell University)|Sep 9, 2017

Distributed Sensor Networks and Detection Algorithms参考文献 48被引用数 12

ひとこと要約

RDeepSense は、調整可能な適切なスコアルールとドロップアウトに基づくベイジアン近似を活用することで、リソース制約のあるモバイルおよび組み込みデバイス向けに、計算効率が高く、良好にキャリブレーションされた予測不確実性推定を提供するディープラーニングフレームワークを導入する。これは、最先端の手法と比較して最大90％のエネルギー消費削減を達成しながら、高いモデル精度と優れた不確実性キャリブレーションを維持する。

ABSTRACT

Recent advances in deep learning have led various applications to unprecedented achievements, which could potentially bring higher intelligence to a broad spectrum of mobile and ubiquitous applications. Although existing studies have demonstrated the effectiveness and feasibility of running deep neural network inference operations on mobile and embedded devices, they overlooked the reliability of mobile computing models. Reliability measurements such as predictive uncertainty estimations are key factors for improving the decision accuracy and user experience. In this work, we propose RDeepSense, the first deep learning model that provides well-calibrated uncertainty estimations for resource-constrained mobile and embedded devices. RDeepSense enables the predictive uncertainty by adopting a tunable proper scoring rule as the training criterion and dropout as the implicit Bayesian approximation, which theoretically proves its correctness.To reduce the computational complexity, RDeepSense employs efficient dropout and predictive distribution estimation instead of model ensemble or sampling-based method for inference operations. We evaluate RDeepSense with four mobile sensing applications using Intel Edison devices. Results show that RDeepSense can reduce around 90% of the energy consumption while producing superior uncertainty estimations and preserving at least the same model accuracy compared with other state-of-the-art methods.

研究の動機と目的

• モバイルおよび組み込みアプリケーションにおけるディープニューラルネットワークにおける信頼性の高い不確実性推定の欠如に対処すること。
• モデルの複雑さや計算オーバーヘッドを増加させることなく、数学的に根拠のある良好にキャリブレーションされた予測不確実性を提供すること。
• モバイルセンシングワークロードにおける不確実性推定の推論エネルギー消費を低減すること。
• Intel Edison のようなエネルギー制約のあるデバイスにおける不確実性認識ディープラーニングの実用的導入を可能にすること。
• 不確実性推定を標準的なディープラーニングパイプラインに最小限の変更で実現できることを示すこと。

提案手法

• RDeepSense は、平均と分散の予測をバランスさせるために、調整可能な適切なスコアルールを訓練目的として使用し、良好にキャリブレーションされた不確実性を保証する。
• 推論時にドロップアウトを適用することで、アンサンブルやサンプリングを必要とせず、暗黙のベイジアン近似として不確実性推定を可能にする。
• フレームワークは、計算コストを低減するためにモンテカルロサンプリングを効率的な予測分布推定に置き換える。
• この手法は理論的に裏付けられており、ベイジアンフレームワーク下で RDeepSense と統計モデルとの等価性を証明している。
• 損失関数内のハイパーパrameter α は、予測精度と不確実性キャリブレーションの間のトレードオフを制御する。
• このアプローチは全結合ネットワークを想定しているが、畳み込みおよび再帰的ドロップアウトを用いることで、CNN や RNN へも拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、計算オーバーヘッドを最小限に抑えながら、モバイルおよび組み込みデバイスで良好にキャリブレーションされた不確実性推定を提供できるか？
• RQ2 損失関数内のハイパーパrameter α の選択が、不確実性キャリブレーションと予測精度に与える影響は何か？
• RQ3 モンテカルロサンプリングやモデルアンサンブルを必要とせずに、ドロップアウトに基づくベイジアン近似が信頼性の高い不確実性推定を実現できるか？
• RQ4 標準的な推論と比較して、近似的にゼロに近いエネルギー消費増加で、高品質な不確実性推定を達成できるか？
• RQ5 エネルギー効率性とキャリブレーション品質の観点から、RDeepSense は最先端の不確実性推定手法と比べてどのように差をつけるか？

主な発見

• RDeepSense は、Intel Edison デバイス上で最先端の不確実性推定手法と比較して、エネルギー消費を約90％削減した。
• 最小の最適キャリブレーション曲線からの偏差領域が最小であるという指標で測定したところ、優れた不確実性キャリブレーションを達成した。
• ハイパーパrameter α を増加させることで不確実性キャリブレーションが向上するが、わずかに負の対数尤度が増加するため、キャリブレーションと尤度の間のトレードオフが示された。
• 誤った予測の負の平均エントロピーは α が増加するにつれて上昇し、誤った予測に対するより良い不確実性評価が得られていることが確認された。
• RDeepSense は、ベースライン手法と同等以上のモデル精度を維持しながら、高品質な不確実性推定を提供した。
• フレームワークは理論的に統計モデルと同等であることが証明されており、信頼性と解釈可能性が裏付けられている。