[論文レビュー] Deep Learning in Human Activity Recognition with Wearable Sensors: A Review on Advances

Shibo Zhang, Yaxuan Li+5 more|arXiv (Cornell University)|Oct 31, 2021

Context-Aware Activity Recognition Systems被引用数 49

ひとこと要約

このレビューはウェアラブルセンサーを用いた人間の活動認識（HAR）の深層学習手法を調査し、モデル、データセット、アプリケーション、課題、今後の方向性を分類します。

ABSTRACT

Mobile and wearable devices have enabled numerous applications, including activity tracking, wellness monitoring, and human--computer interaction, that measure and improve our daily lives. Many of these applications are made possible by leveraging the rich collection of low-power sensors found in many mobile and wearable devices to perform human activity recognition (HAR). Recently, deep learning has greatly pushed the boundaries of HAR on mobile and wearable devices. This paper systematically categorizes and summarizes existing work that introduces deep learning methods for wearables-based HAR and provides a comprehensive analysis of the current advancements, developing trends, and major challenges. We also present cutting-edge frontiers and future directions for deep learning-based HAR.

研究の動機と目的

• HARの背景、センサー、公開データセットの概要を提供する。
• ウェアラブルHARで用いられる深層学習手法を列挙し、それぞれの利点と欠点を比較する。
• DLベースのHARにおける進展、展開に関する考慮事項、課題を体系的に分析する。
• ウェアラブルHARにおける深層学習の動向と今後の方向性を特定する。

提案手法

• 代表的な研究を選定するため、PRISMAフレームワークに従って系統的文献調査を実施する。
• 自動エンコーダ、CNN、RNN、GAN、DRLなどのDLアプローチ別に研究を収集・分類する。
• 公開HARベンチマークでのデータセット、センサー、アプリケーション、および性能を評価する。
• 公開データセットの精度、展開の実現性、モデル選択基準の観点から手法を比較する。
• DLベースのHARに対する課題、機会、今後の方向性を総合する。

実験結果

リサーチクエスチョン

• RQ1 RQ1 ウェアラブルでHARを特徴づける実世界のアプリケーション、主流センサー、および主要な公開データセットは何ですか？
• RQ2 RQ2 ウェアラブルHARに使用される深層学習アプローチはどれで、それぞれの利点と限界は何ですか？
• RQ3 RQ3 DLベースのHARにはどんな課題が存在し、どんな機会や解決策が見込まれますか？
• RQ4 RQ4 データセットとセンサーモダリティはモデルの性能と展開にどのように影響しますか？

主な発見

• DL手法は従来のMLアプローチと比べてウェアラブルセンサーでのHAR性能を向上させている。
• 本レビューはDLベースのHARを六つの主要アーキテクチャとそのトレードオフにわたる分類法へ整理している。
• 公開データセットとセンサーモダリティがモデル選択とベンチマーク設定の情報として批判的に分析されている。
• 本論文は展開、プライバシー、データ品質の考慮を含む課題と機会を強調している。
• GANs や深層強化学習などの新興フロンティアが HAR の最先端の道として議論されている。