[論文レビュー] Understanding and Improving Deep Neural Network for Activity Recognition

Xue Li, Xiandong Si+5 more|arXiv (Cornell University)|May 18, 2018

Context-Aware Activity Recognition Systems参考文献 21被引用数 3

ひとこと要約

本論文は、スマートフォンセンサーのデータに基づく人間の行動認識のための深層ニューラルネットワークの理解と改善を目的とした、可視化駆動の新規アプローチを提案する。スマートフォンセンサーのデータから畳み込みニューラルネットワーク（CNN）の特徴マップを分析することで、著者らは特定の行動に関連する判別性の高い特徴を同定し、それらをDNNモデルに統合することで96.1%の分類精度を達成した。これは、この分野における抽象的なセンサー基盤の特徴の可視化を初めて実現した。

ABSTRACT

Activity recognition has become a popular research branch in the field of pervasive computing in recent years. A large number of experiments can be obtained that activity sensor-based data's characteristic in activity recognition is variety, volume, and velocity. Deep learning technology, together with its various models, is one of the most effective ways of working on activity data. Nevertheless, there is no clear understanding of why it performs so well or how to make it more effective. In order to solve this problem, first, we applied convolution neural network on Human Activity Recognition Using Smart phones Data Set. Second, we realized the visualization of the sensor-based activity's data features extracted from the neural network. Then we had in-depth analysis of the visualization of features, explored the relationship between activity and features, and analyzed how Neural Networks identify activity based on these features. After that, we extracted the significant features related to the activities and sent the features to the DNN-based fusion model, which improved the classification rate to 96.1%. This is the first work to our knowledge that visualizes abstract sensor-based activity data features. Based on the results, the method proposed in the paper promises to realize the accurate classification of sensor- based activity recognition.

研究の動機と目的

• センサーのデータを用いた行動認識における深層ニューラルネットワークの解釈可能性の欠如に対処すること。
• 生のセンサー信号から深層ネットワークが学習した抽象的特徴を可視化し、分析すること。
• 学習された表現から、顕著で行動に特徴的な特徴を同定すること。
• これらの顕著な特徴をDNNベースのモデルに統合することで分類性能を向上させること。
• センサー基盤の行動認識における深層学習の解釈可能性と最適化の基盤を確立すること。

提案手法

• エンドツーエンドの特徴学習を実現するため、スマートフォンを用いた行動認識データセットに畳み込みニューラルネットワーク（CNN）を適用した。
• センサーのデータからCNNの層が抽出した抽象的特徴を解釈するための可視化技術を開発した。
• 可視化された特徴を詳細に分析し、特定の人間の行動と関連付けることを行った。
• 行動固有のパターンと関連性に基づいて、最も判別性の高い特徴を抽出した。
• 選択された特徴を深層ニューラルネットワーク（DNN）統合モデルに供給し、分類性能を向上させた。
• 抽出された特徴を用いて統合モデルを最適化し、認識精度を最大化した。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、生のセンサー信号からどのように特徴を学習し、表現するのか？
• RQ2 学習された特徴と特定の人間の行動の間にはどのような関係があるのか？
• RQ3 どの特徴が異なる行動クラスに対して最も判別的なのか？
• RQ4 特徴の可視化とキーフィーチャーの選択は、行動認識における深層学習モデルの性能向上に寄与するのか？
• RQ5 特徴統合は、標準的な深層学習手法を上回る分類精度をどの程度向上させ得るのか？

主な発見

• 学習された特徴の可視化により、明確な空間的・時間的パターンが、異なる人間の行動に対応していることが明らかになった。
• CNN内の特定の特徴マップが、一貫して特定の行動によって活性化されることから、特徴と行動の強い対応関係が示された。
• 最も判別性の高い特徴は、各行動固有の運動ダイナミクスと時間的遷移を捉えていることが判明した。
• 選択された顕著な特徴をDNNモデルに統合することで、分類精度が96.1%まで向上した。
• この性能向上は、解釈可能性に裏付けられた特徴選択が、センサー基盤の認識における深層学習に有効であることを示している。
• 本研究は、行動認識のための深層学習における抽象的センサー基盤特徴の可視化を、初めて報告した。