[論文レビュー] Tutorial on Deep Learning for Human Activity Recognition

Marius Bock, Alexander Hölzemann+2 more|arXiv (Cornell University)|Oct 13, 2021

Context-Aware Activity Recognition Systems参考文献 39被引用数 5

ひとこと要約

このチュートリアルでは、従来の特徴工学を置き換え、エンドツーエンドのディープラーニングを採用した、ウェアラブルインertialセンサーを用いた人間の行動認識のための近代化されたパイプライン「Deep Learning Activity Recognition Chain (DL-ARC)」を紹介する。PyTorchとRWHARなどの公開データセットを用いて、データ前処理、ニューラルネットワーク設計、検証の手順を段階的に説明し、データオーグメンテーションやラベルスムージングといった技術を活用することで、最先端の性能を達成している。

ABSTRACT

Activity recognition systems that are capable of estimating human activities from wearable inertial sensors have come a long way in the past decades. Not only have state-of-the-art methods moved away from feature engineering and have fully adopted end-to-end deep learning approaches, best practices for setting up experiments, preparing datasets, and validating activity recognition approaches have similarly evolved. This tutorial was first held at the 2021 ACM International Symposium on Wearable Computers (ISWC'21) and International Joint Conference on Pervasive and Ubiquitous Computing (UbiComp'21). The tutorial, after a short introduction in the research field of activity recognition, provides a hands-on and interactive walk-through of the most important steps in the data pipeline for the deep learning of human activities. All presentation slides shown during the tutorial, which also contain links to all code exercises, as well as the link of the GitHub page of the tutorial can be found on: https://mariusbock.github.io/dl-for-har

研究の動機と目的

• 従来のHARチュートリアルに欠けている点を補うために、古典的なアクティビティ認識チェーン（ARC）を、現代のディープラーニング技術に適合させること。
• 研究者や実務家が、インertialセンサーのデータから堅牢なディープラーニングモデルを構築できるように、実践的でインタラクティブなガイドを提供すること。
• データ前処理、ネットワークアーキテクチャ設計、モデル評価のベストプラクティスを示し、検証戦略とハイパーパramータチューニングを含むこと。
• MaxUp やラベルスムージングといった高度なディープラーニング技術を紹介することで、将来的な研究を刺激すること。これらはHAR分野でまだ十分に検討されていない。
• GitHubホスティングのJupyterノートブックとGoogle Colab統合を通じて、再現可能で容易にアクセスできる、GPU加速実験が可能な完全なワークフローを提供すること。

提案手法

• DL-ARCパイプラインを導入し、元のARCの刷新版として、手動による特徴工学を排除し、直接生のセグメント化されたセンサー入力を処理する。
• スライディングウィンドウによるセグメンテーションを採用し、連続するインertialセンサーのストリームを固定長の時間ウィンドウに分割してモデル入力とする。
• サンプリングレートやセンサー感度のばらつきに対処するため、補間、リサンプリング、特徴量スケーリングなどの前処理手法を適用する。
• 空間的・時間的特徴抽出のため、畳み込み層とLSTM層を組み合わせた、変更を加えたDeepConvLSTMアーキテクチャをコアモデルとして採用する。
• PyTorchを用いた完全なトレーニングループを実装し、損失計算、バックプロパゲーション、最適化を含む。高度な損失関数とデータオーグメンテーションもサポートする。
• 過学習を防ぎ、汎化性能を確保するため、トレイン・バリデーション分割、k分割交差検証、およびクロス・パーソン検証といった複数の検証戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 従来のアクティビティ認識チェーン（ARC）は、どのようにエンドツーエンドのディープラーニングをサポートするように改造できるか？
• RQ2 HARにおけるディープラーニングモデルの入力に適した、生のインertialセンサー・データを準備するために必要な主要な前処理ステップは何か？
• RQ3 どのディープラーニングアーキテクチャとトレーニング戦略が、公開のHARベンチマークデータセットで最適なパフォーマンスを発揮するか？
• RQ4 MaxUp やラベルスムージングといった高度な技術は、HARにおけるモデルの汎化性能とロバストネスをどのように向上させるか？
• RQ5 過学習を回避し、信頼性の高いパフォーマンスを確保するための、HARにおけるモデル検証とハイパーパramータチューニングのベストプラクティスは何か？

主な発見

• DL-ARCパイプラインは、手動による特徴工学をエンドツーエンドのディープラーニングに置き換え、HARワークフローを簡素化するとともに、モデルのパフォーマンスを向上させた。
• リサンプリングやスケーリングといった前処理ステップは、センサー・データのばらつきに対処する上で不可欠であり、モデルの収束性と正確性を顕著に向上させる。
• 変更を加えたDeepConvLSTMアーキテクチャは、RWHARデータセットで優れたパフォーマンスを示し、時系列モデリングに適したハイブリッドCNN-LSTMモデルの有効性を裏付けた。
• クロス・パーソン検証は、実世界での汎化性能を評価するために不可欠であり、1人の被験者で学習したモデルが他の被験者に一般化できないことを明らかにした。
• ラベルスムージングやMaxUpといった技術は、モデルのロバストネスと汎化性能を向上させ、これらがHAR分野において効果的に活用可能であることを示唆している。
• GitHubにホスティングされたチュートリアルのコードベースとColab統合により、研究者が最小限のセットアップ作業で結果を再現し、実験を拡張できるようになった。