[論文レビュー] DeepSense: A Unified Deep Learning Framework for Time-Series Mobile Sensing Data Processing

Shuochao Yao, Shaohan Hu+3 more|arXiv (Cornell University)|Nov 7, 2016

Context-Aware Activity Recognition Systems参考文献 39被引用数 105

ひとこと要約

DeepSenseはCNNとGRUを統合し、ノイズのある時系列モバイルセンサデータに対する回帰と分類を処理します。車両追跡、異種的行動認識、バイオメトリックなユーザー識別で最先端の結果を達成しつつ、オンデバイス実行性を実用的に保ちます。

ABSTRACT

Mobile sensing applications usually require time-series inputs from sensors. Some applications, such as tracking, can use sensed acceleration and rate of rotation to calculate displacement based on physical system models. Other applications, such as activity recognition, extract manually designed features from sensor inputs for classification. Such applications face two challenges. On one hand, on-device sensor measurements are noisy. For many mobile applications, it is hard to find a distribution that exactly describes the noise in practice. Unfortunately, calculating target quantities based on physical system and noise models is only as accurate as the noise assumptions. Similarly, in classification applications, although manually designed features have proven to be effective, it is not always straightforward to find the most robust features to accommodate diverse sensor noise patterns and user behaviors. To this end, we propose DeepSense, a deep learning framework that directly addresses the aforementioned noise and feature customization challenges in a unified manner. DeepSense integrates convolutional and recurrent neural networks to exploit local interactions among similar mobile sensors, merge local interactions of different sensory modalities into global interactions, and extract temporal relationships to model signal dynamics. DeepSense thus provides a general signal estimation and classification framework that accommodates a wide range of applications. We demonstrate the effectiveness of DeepSense using three representative and challenging tasks: car tracking with motion sensors, heterogeneous human activity recognition, and user identification with biometric motion analysis. DeepSense significantly outperforms the state-of-the-art methods for all three tasks. In addition, DeepSense is feasible to implement on smartphones due to its moderate energy consumption and low latency

研究の動機と目的

• ノイズのある時系列センサデータのモバイルセンシングと計算における利用を改善する動機付け。
• 回帰と分類の双方のタスクを受け入れる統一深層学習フレームワークを提案する。
• 局所センサ相互作用、多モーダル融合、時系列モデリングを活用して物理量/ノイズの表現と頑健な特徴を学習する。
• エネルギー消費と待機時間の点でオンデバイスの実現性を示す。

提案手法

• 入力センサ測定を時間間隔に分割し、各区間ごとに周波数領域へ変換する。
• 区間内の局所的相互作用とセンサ間の全体的相互作用を捉えるために、センサごとの畳み込みサブネットを適用する。
• センサ出力をマージ畳み込みサブネットで統合し、クロスセンサ関係を学習する。
• ドロップアウトと再帰的バッチ正規化を用いた2層の積み重ねGRUで、区間間の時系列依存性を学習する。
• 回帰では、物理量を区間ごとに推定する共有線形層で出力をデコードする。
• 分類では、区間特徴を集約（例：平均化）し、カテゴリ確率のソフトマックスを適用する。

実験結果

リサーチクエスチョン

• RQ1 統一されたCNN-RNNフレームワークは、ノイズのあるモバイルセンサデータから回帰の物理信号/ノイズ成分の組成と、分類の頑健な特徴表現の両方を学習できるのか。
• RQ2 センサごとのCNN、モダール融合、および時系列モデリングを用いた階層的センシングは、回帰と分類のタスクを通じてタスク固有のベースラインより優れているのか。
• RQ3 エネルギー消費と待機時間の点でオンデバイス実行性はあるのか。
• RQ4 CarTrack、異種人間活動認識、バイオメトリックな動作識別といった難しいタスクでDeepSenseはどう性能を示すのか。

主な発見

MAE（メートル）	マップ補助精度
40.43±5.24	93.8%
44.97±5.80	90.2%
52.15±6.24	88.3%
53.06±6.59	87.5%
606.59±56.57
	6.7%

• DeepSenseはCarTrackにおける追跡誤差を大きく低減し、40.43 ± 5.24 m MAEと93.8%のマップ補助精度を達成するなど、ベースラインより優れる。
• 全構成要素（個別畳込みネットとマージ畳込み、積み重ねGRU）を含むDeepSenseが最良の性能を示し、構成要素を除くと結果が劣化する。
• CarTrackでは、DS-SingleGRU、DS-noIndvConv、DS-noMergeConvなどのベースラインは順次MAEとマップ補助精度が悪化し、個別センサ処理とクロスセンサ融合の価値が確認される。
• HHAR（異種人間活動認識）およびUserID（生体動作に基づく識別）では、DeepSenseとそのバリエーションが最先端ベースラインを大きく上回る（少なくとも10％以上）。
• フレームワークはモバイルデバイス上で中程度のエネルギー使用と低遅延で実装可能であることを示す（オンデバイス処理）。