[論文レビュー] Deep Recurrent Neural Network for Mobile Human Activity Recognition with High Throughput

Masaya Inoue, Sozo Inoue+1 more|arXiv (Cornell University)|Nov 11, 2016

Context-Aware Activity Recognition Systems参考文献 24被引用数 8

ひとこと要約

本稿では、特徴抽出を省略することで高い精度とスループットを達成する、生加速度計データを用いたリアルタイム人間行動認識のための深層再帰ニューラルネットワーク（DRNN）を提案する。DRNNは単一行動試行で95.42%の認識精度を達成し、順次試行では83.43%の精度を示す。インファレンス遅延はわずか1.347 msであり、特徴計算を含む従来手法の11.031 msに比べ8.19倍高速である。

ABSTRACT

In this paper, we propose a method of human activity recognition with high throughput from raw accelerometer data applying a deep recurrent neural network (DRNN), and investigate various architectures and its combination to find the best parameter values. The "high throughput" refers to short time at a time of recognition. We investigated various parameters and architectures of the DRNN by using the training dataset of 432 trials with 6 activity classes from 7 people. The maximum recognition rate was 95.42% and 83.43% against the test data of 108 segmented trials each of which has single activity class and 18 multiple sequential trials, respectively. Here, the maximum recognition rates by traditional methods were 71.65% and 54.97% for each. In addition, the efficiency of the found parameters was evaluated by using additional dataset. Further, as for throughput of the recognition per unit time, the constructed DRNN was requiring only 1.347 [ms], while the best traditional method required 11.031 [ms] which includes 11.027 [ms] for feature calculation. These advantages are caused by the compact and small architecture of the constructed real time oriented DRNN.

研究の動機と目的

• 生加速度計データを用いて、高いスループットを実現するリアルタイム人間行動認識システムの開発。
• 認識精度とインファレンス速度を最大化するための最適なDRNNアーキテクチャおよびハイパーパramータの特定。
• 手作業で特徴抽出を行う従来の機械学習手法と比較して、DRNNの性能評価。
• 限られた計算リソースを備えたモバイルデバイスへのデプロイに向けたDRNNの効率性とスケーラビリティの評価。

提案手法

• 生時系列加速度計データを直接処理する深層再帰ニューラルネットワーク（DRNN）を採用し、事前の特徴抽出を省略する。
• 時系列センサデータ内の時間的依存関係をモデル化するため、複数の再帰層を積み重ねたスタックドRNNアーキテクチャを採用する。
• 訓練の安定化と過学習の防止のため、勾配クリッピングおよびドロップアウト正則化を適用する。
• 切り捨てバックプロパゲーション時間、学習率、ドロップアウト率などのハイパーパramータを、広範なアブレーションスタディを通じて最適化する。
• 7名の被験者から得られた6つの行動クラスに分かれる432個のセグメント化試行からなるHASCデータセットを、訓練および検証に使用する。
• CPU上でインファレンススループットを評価し、1入力サンプルあたりの認識遅延を測定することで、リアルタイム実行の可能性を検証する。

Figure 2: Back propagation in DRNN

実験結果

リサーチクエスチョン

• RQ1 生加速度計データを直接処理する深層再帰ニューラルネットワークは、従来手法に比べて高い認識精度を達成できるか？
• RQ2 切り捨て時間やドロップアウト率などのハイパーパramータを含めた、人間行動認識タスクにおけるDRNNアーキテクチャとハイパーパramータの最適化はどのように行われるか？
• RQ3 特徴抽出に時間がかかる従来手法を考慮した場合、DRNNのインファレンススループットはどのように比較されるか？
• RQ4 最適化されたDRNNパラメータは、HARオープンデータセットのような他のデータセットに対しても一般化可能か、その程度はどの程度か？
• RQ5 DRNNは最小限の計算オーバーヘッドでモバイルデバイスへのデプロイに適したリアルタイム性能を達成できるか？

主な発見

• DRNNは単一行動テスト試行で最大95.42%の認識精度を達成し、従来手法（71.65%）を顕著に上回った。
• 複数の順次行動試行では、DRNNは83.43%の精度を示したのに対し、従来手法は54.97%であった。
• DRNNのインファレンス遅延は1サンプルあたりわずか1.347 msであり、従来手法の11.031 ms（うち11.027 msが特徴抽出時間）に比べ8.19倍高速であった。
• DRNNの総パラメータ数は、従来のCNN+LSTMモデルの10%未満であり、モバイルデバイスへのコンパクトなデプロイを可能にした。
• ハイパーパラメータチューニング、特に50%前後のドロップアウト率の最適化が、一般化性能および認識精度の向上に顕著に寄与した。
• 最適化されたDRNNパラメータはHARオープンデータセットでも95.03%の精度を達成し、学習された特徴の転送可能性と頑健性を確認した。

Figure 3: Structural drawing of LSTM