[論文レビュー] ActiveHARNet: Towards On-Device Deep Bayesian Active Learning for Human Activity Recognition

Gautham Krishna Gudur, Prahalathan Sundaramoorthy+1 more|arXiv (Cornell University)|May 31, 2019

Context-Aware Activity Recognition Systems参考文献 20被引用数 11

ひとこと要約

ActiveHARNet は、モンテカルロドロップアウトを用いた不確実性推定と深層アンサンブルモデルを組み合わせた、リソース効率的でデバイス内でのベイジアンアクティブラーニングフレームワークを提案する。不確実性に配慮した獲得関数を用いて最も情報量の多いサンプルのみを選択することで、ラベル付けの必要を60%以上削減しつつ、高精度を維持する。これは、ウェアラブル HAR および転倒検出データセットで有効である。

ABSTRACT

Various health-care applications such as assisted living, fall detection etc., require modeling of user behavior through Human Activity Recognition (HAR). HAR using mobile- and wearable-based deep learning algorithms have been on the rise owing to the advancements in pervasive computing. However, there are two other challenges that need to be addressed: first, the deep learning model should support on-device incremental training (model updation) from real-time incoming data points to learn user behavior over time, while also being resource-friendly; second, a suitable ground truthing technique (like Active Learning) should help establish labels on-the-fly while also selecting only the most informative data points to query from an oracle. Hence, in this paper, we propose ActiveHARNet, a resource-efficient deep ensembled model which supports on-device Incremental Learning and inference, with capabilities to represent model uncertainties through approximations in Bayesian Neural Networks using dropout. This is combined with suitable acquisition functions for active learning. Empirical results on two publicly available wrist-worn HAR and fall detection datasets indicate that ActiveHARNet achieves considerable efficiency boost during inference across different users, with a substantially low number of acquired pool points (at least 60% reduction) during incremental learning on both datasets experimented with various acquisition functions, thus demonstrating deployment and Incremental Learning feasibility.

研究の動機と目的

• リアルタイムのウェアラブルセンサデータの大量ラベリングの課題に対処すること。
• 再訓練から再始動することなく、デバイス内での継続的モデル適応を可能にすること。
• 不確実性に配慮したアクティブラーニングを用いて、最も情報量の多いデータポイントのみを選択することで、ラベル付けの負担を軽減すること。
• スマートフォンやスマートウォッチなどのリソース制限のあるエッジデバイスに、軽量で効率的なベイジアンディープラーニングモデルをデプロイすること。
• 実世界のユーザー固有の HAR および転倒検出シナリオにおけるアクティブラーニングの実現可能性と性能を評価すること。

提案手法

• モンテカルロドロップアウトを用いて事後分布を近似し、モデルの不確実性を推定するベイジアンディープアンサンブルモデルを採用する。
• 情報量の高い未ラベル付きサンプルをオラクルクエリに選択するため、複数の獲得関数（Variation Ratio、BALD、MaxEntropy、Random Sampling）を統合する。
• 新規に取得されたラベルをデータストリームから受信することで、デバイス内での推論と段階的ラーニングを可能にする。
• データ収集の管理とリアルタイム応答性の両立のため、時間ベースのプーリング機構（例：15分ウィンドウ）を採用する。
• 推論前の計算負荷を低減するため、離散ウェーブレット変換（DWT）を用いて特徴抽出とデシメーションを実施する。
• Raspberry Pi 2 などのエッジデバイスにデプロイ可能であるよう、モデルサイズを約180–315 kBに最適化する。これにより、メモリ使用量とレイテンシを低減する。

実験結果

リサーチクエスチョン

• RQ1 不確実性推定を伴うベイジアンアクティブラーニングは、デバイス内 HAR システムにおけるラベル数を削減できるか？
• RQ2 Variation Ratio や BALD などの異なる獲得関数は、モデル精度を維持しつつ、ラベル付けの負担をどれほど低減できるか？
• RQ3 計算オーバーヘッドを最小限に抑えながら、デバイス内で段階的ラーニングを効率的に行えるか？
• RQ4 ActiveHARNet は、多様なユーザーと異種のウェアラブルデータセット（HHAR および Notch）において、どのように性能を発揮するか？
• RQ5 リアルタイム性の観点から、エッジデバイス上でのアクティブラーニングの推論時間および獲得時間の両面での実現可能性はいかがなものか？

主な発見

• ActiveHARNet は、HHAR および Notch データセットの両方において、ランダムサンプリングと比較して、必要な獲得ウィンドウ数を60%以上削減した。
• Variation Ratio 獲得関数は、最も高い分類効率を達成し、Notch データセットで η=0.4 の条件下でわずか150個の獲得ウィンドウで f1-score 0.956 を達成した。
• Notch データセット全体のユーザー平均では、η=0.4 時に94.3%、η=0.6 時に94.8% の f1-score を達成し、ベースライン（92.8%）を大きく上回ったが、ラベル付きポイントの数は著しく少なかった。
• Raspberry Pi 2 では、HHAR で1ウィンドウあたり約14 ms、Notch で約11 ms の推論時間であり、1イテレーションあたりの合計獲得時間は、10回のドロップアウトイテレーションのため約14秒であった。
• モデルサイズは、Notch で約180 kB、HHAR で約315 kB にまで縮小され、低リソースのエッジデバイスへのデプロイに適したものとなった。
• Variation Ratio は、BALD や MaxEntropy よりも収束が早く、より高いテスト精度を示した。一方、Random Sampling は f1-score と収束速度の両面で最も悪かった。