[論文レビュー] A Deep Learning Method for Complex Human Activity Recognition Using Virtual Wearable Sensors

Fanyi Xiao, Ling Pei+5 more|arXiv (Cornell University)|Mar 4, 2020

Context-Aware Activity Recognition Systems参考文献 18被引用数 8

ひとこと要約

本論文は、AMASSポーズ再構築データセットから得られる仮想慣性計測単位（IMU）データを用いて、複雑な人間の行動認識のためのディープラーニング手法を提案する。仮想IMUデータに対して教師なしペナルティを課して畳み込みニューラルネットワークを訓練し、少量の実IMUデータセット（DIP）で微調整することで、実世界のデータで91.15%の精度を達成した。これは、最小限の実データ収集で有効なドメイン適応を実現していることを示している。

ABSTRACT

Sensor-based human activity recognition (HAR) is now a research hotspot in multiple application areas. With the rise of smart wearable devices equipped with inertial measurement units (IMUs), researchers begin to utilize IMU data for HAR. By employing machine learning algorithms, early IMU-based research for HAR can achieve accurate classification results on traditional classical HAR datasets, containing only simple and repetitive daily activities. However, these datasets rarely display a rich diversity of information in real-scene. In this paper, we propose a novel method based on deep learning for complex HAR in the real-scene. Specially, in the off-line training stage, the AMASS dataset, containing abundant human poses and virtual IMU data, is innovatively adopted for enhancing the variety and diversity. Moreover, a deep convolutional neural network with an unsupervised penalty is proposed to automatically extract the features of AMASS and improve the robustness. In the on-line testing stage, by leveraging advantages of the transfer learning, we obtain the final result by fine-tuning the partial neural network (optimizing the parameters in the fully-connected layers) using the real IMU data. The experimental results show that the proposed method can surprisingly converge in a few iterations and achieve an accuracy of 91.15% on a real IMU dataset, demonstrating the efficiency and effectiveness of the proposed method.

研究の動機と目的

• 既存のHARデータセットには、単純で繰り返しの多い動作が多く、被験者に多様性がなく、1つのIMU構成に限られているという制限があることに対処する。
• AMASSポーズ再構築データセットから得られる仮想IMUデータを活用することで、HARにおける実IMUデータ収集のコストと複雑さを低減する。
• 仮想データでの訓練時に教師なしペナルティを導入することで、モデルのロバスト性と一般化性能を向上させる。
• トランスファーラーニングと少量の実世界データセット（DIP）での微調整を通じて、仮想IMUデータと実IMUデータのドメインギャップを埋める。
• 複数の運動を含む複雑な、実環境におけるHARシナリオで高い精度を達成する。

提案手法

• 本手法は、3次元人体モーショングラフから生成された仮想IMUデータを提供するAMASSデータセットを用い、特徴学習とロバスト性を向上させるために教師なしペナルティを課した深層畳み込みニューラルネットワーク（CNN）を訓練する。
• 教師なしペナルティは、AMASSでの訓練中に適用され、モデルが多様な人体ポーズや運動パターンに一般化できる能力を強化する。
• トランスファーラーニング戦略を採用：事前学習済みモデルは、実世界のセンサ分布に適応させるために、全結合層のみを更新することで、少量の実IMUデータセット（DIP）で微調整される。
• 入力データは、60Hzで60フレーム（1秒）のスライディングウィンドウを用い、50%のオーバーラップをとる。頭部、左手首、右大腿部に配置された3つのIMUから、36次元の特徴量（3次元加速度と回転行列）が得られる。
• モデルの評価には、正確度とF1スコアが用いられ、AMASS（仮想）、DIP（実）、および統合学習／微調整設定での性能が測定される。
• 分類性能の分析には、複数の部分運動から構成される複雑な動作に対して特に有効な混同行列が使用される。

実験結果

リサーチクエスチョン

• RQ1 大規模なポーズ再構築データセット（AMASS）から得られる仮想IMUデータで訓練されたディープラーニングモデルは、実世界の人間行動認識に効果的に一般化できるか？
• RQ2 少量の実IMUデータセット（DIP）での微調整は、仮想データと実センサデータの間のドメインギャップをどれほど効果的に低減できるか？
• RQ3 仮想データでの訓練時に教師なしペナルティを導入することで、複雑で複数の部分運動を含む動作に対するモデルのロバスト性と分類精度が向上するか？
• RQ4 大規模な仮想データセットからのトランスファーラーニングを活用することで、最小限の実データ収集で高い精度を達成できるか？
• RQ5 ストレッチングの脚の動きのように、運動のばらつきが大きい複数の部分運動を含む動作に対して、モデルの性能はいかがであるか？

主な発見

• 微調整後、実世界のDIPデータセットで91.15%の精度を達成した。これは、ベースライン手法を著しく上回っている。
• DIPデータセットでの微調整により、仮想と実IMUデータの間の性能ギャップが縮小された。AMASSでのみ学習したモデルは、DIPで50%未満の精度にとどまった。
• 微調整段階での収束が速く、20エポック以内に優れた性能が達成された。これは、少量の実データで効率的な適応が可能であることを示している。
• 混同行列の分析から、微調整により、特に複数の部分運動から成る複雑で曖昧な動作の分類性能が顕著に向上した。
• AMASSでの訓練時に教師なしペナルティを導入することで、一般化性能が向上した。これは、AMASSおよびDIPの両方でベースラインモデルよりも高い性能を示している。
• 本手法は、ポーズ再構築データセットから得られる大規模な仮想IMUデータを実世界のHARに効果的に活用できることを示しており、高価な実データ収集への依存を低減できる。