[論文レビュー] Deep, Convolutional, and Recurrent Models for Human Activity Recognition using Wearables

Nils Hammerla, Shane Halloran+1 more|arXiv (Cornell University)|Apr 29, 2016

Context-Aware Activity Recognition Systems参考文献 22被引用数 372

ひとこと要約

この論文は、ウェアラブルセンサを用いた HAR において、深層前方ネットワーク、畳み込みネットワーク、再帰型モデルを3つのデータセットで系統的に比較し、再帰ネットワーク、特に双方向 LSTM が他を上回ることが多いことを示し、ハイパーパラメータ調整の実践的ガイドラインを提供する。

ABSTRACT

Human activity recognition (HAR) in ubiquitous computing is beginning to adopt deep learning to substitute for well-established analysis techniques that rely on hand-crafted feature extraction and classification techniques. From these isolated applications of custom deep architectures it is, however, difficult to gain an overview of their suitability for problems ranging from the recognition of manipulative gestures to the segmentation and identification of physical activities like running or ascending stairs. In this paper we rigorously explore deep, convolutional, and recurrent approaches across three representative datasets that contain movement data captured with wearable sensors. We describe how to train recurrent approaches in this setting, introduce a novel regularisation approach, and illustrate how they outperform the state-of-the-art on a large benchmark dataset. Across thousands of recognition experiments with randomly sampled model configurations we investigate the suitability of each model for different tasks in HAR, explore the impact of hyperparameters using the fANOVA framework, and provide guidelines for the practitioner who wants to apply deep learning in their problem setting.

研究の動機と目的

• HAR における手作業で設計された特徴量の代替として、深層学習の利用を動機づける。
• 代表的な HAR タスク全体で、深層前方伝搬ネットワーク、畳み込みネットワーク、再帰モデルを系統的に比較する。
• fANOVA フレームワークを用いて、ハイパーパラメータが性能に与える影響を分析する。
• 実世界の設定で HAR に深層学習を適用する実務者への実用的なガイドラインを提供する。

提案手法

• 最大5層の隠れ層を持つ深層前方伝搬ネットワーク（DNN）を実装し、ドロップアウトと max-in-norm 正則化を用いる。
• 時系列畳み込みと最大プーリングを備え、全結合層と正則化を追加した畳み込みネットワーク（CNN）を実装する。
• LSTMセルに基づく再帰ネットワークを実装し、前方LSTM（LSTM-F）、サンプルごとの前方LSTM（LSTM-S）、双方向LSTM（b-LSTM-S）を含める。
• フレームベースの動作データでネットワークを訓練し、RNN には内部状態をゼロにリセットするキャリー確率を用いた新規のキャリーオーバー正則化を導入する。
• 訓練には確率的勾配降下法/ AdaGrad を用い、3つの HAR データセットで平均 F1 スコアと加重 F1 スコアで評価する。

実験結果

リサーチクエスチョン

• RQ1 異なる活動タイプや継続時間に対して、どの深層学習モデルファミリ（DNN、CNN、RNN）が HAR タスクに最適か？
• RQ2 各モデルカテゴリ内のハイパーパラメータ（学習、正則化、アーキテクチャ）が HAR の性能にどう影響するか？
• RQ3 RNN はサンプルレベルで動作データをモデル化して、リアルタイムまたはオンライン HAR を可能にできるか？
• RQ4 さまざまなデータセットやタスクに対して HAR モデルを選択・調整する際の実務者向けガイドラインは何か？

主な発見

• 双方向 LSTM（b-LSTM-S）は Opportunity で最高の平均 F1 を達成し、そのデータセットで最先端の性能を上回る。
• 短く時間的に順序付けられた活動では、双方向および前方 LSTM はしばし CNN や DNN を上回り、サンプルごとの予測を可能にする。
• CNN は長く反復的な活動で DNN を上回るが、学習率と正則化設定に対してより敏感に示す。
• ハイパーパラメータの最大影響は CNN の学習設定と双方向 LSTMs のユニット数に現れ、データセットによって感度が異なる。
• データセット全体で、RNN は著しい性能向上を示し、重いフレームベースのセグメンテーションなしでリアルタイム HAR の可能性を提供する。