[論文レビュー] Deep Learning for Sensor-based Human Activity Recognition: Overview, Challenges and Opportunities

Kaixuan Chen, Dalin Zhang+4 more|arXiv (Cornell University)|Jan 21, 2020

Context-Aware Activity Recognition Systems参考文献 195被引用数 319

ひとこと要約

この調査は、センサベースの人間の行動認識における最新の深層学習手法をレビューし、課題を分類し、深層技術を未解決問題、データセット、将来の方向性へマッピングする。

ABSTRACT

The vast proliferation of sensor devices and Internet of Things enables the applications of sensor-based activity recognition. However, there exist substantial challenges that could influence the performance of the recognition system in practical scenarios. Recently, as deep learning has demonstrated its effectiveness in many areas, plenty of deep methods have been investigated to address the challenges in activity recognition. In this study, we present a survey of the state-of-the-art deep learning methods for sensor-based human activity recognition. We first introduce the multi-modality of the sensory data and provide information for public datasets that can be used for evaluation in different challenge tasks. We then propose a new taxonomy to structure the deep methods by challenges. Challenges and challenge-related deep methods are summarized and analyzed to form an overview of the current research progress. At the end of this work, we discuss the open issues and provide some insights for future directions.

研究の動機と目的

• センサベースのアクティビティ認識とその適用分野（スマートホーム、ヘルスケア、製造業）を動機付ける。
• センサデータにおける固有の課題（特徴抽出、データ不足、分布シフト、セグメンテーション、多占有シナリオ、プライバシーと実現可能性）を強調する。
• これらの課題に沿った深層学習アプローチの分類体系を提供し、それらがどのように対処するかを分析する。
• 課題特有の手法を評価するための公開データセットとモダリティを提示する。
• 将来の研究方向に向けたオープンイシューと実践的な洞察を提供する。

提案手法

• センサベースのアクティビティ認識において、対処する課題別に整理した深層学習手法の分類体系を提案する。
• RNN（LSTM/GRU）を用いた時間的特徴抽出、CNN（1D、マルチスケール、拡張、モダリティ別バリアントを含む）、およびハイブリッドCNN-RNNアーキテクチャを検討する。
• マルチモーダル特徴抽出と融合戦略（Early Fusion vs. Sensor Fusion）、特徴ベースおよび分類器アンサンブルアプローチを含むを探る。
• ウェアラブル、環境、オブジェクト、その他のモダリティとそれらのデータセットを要約し、データ型やクラス不均衡、分布の不一致といった課題に配慮する。
• 公開データセットと、それらがさまざまな課題（マルチモーダル、複合的なアクティビティ、複数占有人シナリオ）の評価に適しているかを検討する。
• センサベースのアクティビティ認識における深層学習のオープンイシューと潜在的な将来方向性を強調する。

実験結果

リサーチクエスチョン

• RQ1 センサベースの人間のアクティビティ認識に特有の主な課題は何か、深層学習手法をどのように適合させて対処できるか？
• RQ2 さまざまなセンサモダリティとデータセットに対して、異なる深層学習アーキテクチャと融合戦略はどのように性能を発揮するか？
• RQ3 課題特有の手法を評価するための公開データセットは何があり、それらの特性は何か？
• RQ4 より堅牢で拡張性があり、プライバシー保護されたHARシステムの開発を導く将来の研究方向性とオープンイシューは何か？

主な発見

• 深層学習はマルチモーダルセンサデータからのエンドツーエンド学習を可能にし、階層的表現を学習することにより特徴抽出の課題に対処する。
• 時間的特徴抽出は、拡張畳み込みを含むLSTM/GRUおよびCNNバリアントによって効果的に処理され、時間スケールの多様性に配慮している。
• マルチモーダル融合戦略（Early Fusion、センサーフュージョン、分類器アンサンブル）は、モダリティ内およびモダリティ間の相関を捉える際に固有のトレードオフがある。
• ウェアラブル、環境、オブジェクト、その他のモダリティとデータセットは、単純なものから複雑な活動、複合的および多占有人シナリオを含む評価をサポートする。
• 本調査は課題と手法を結ぶ分類体系を提供し、利用可能な公開データセットを強調し、オープンイシューと将来の方向性について論じる。