[論文レビュー] Human Activity Recognition from Wearable Sensor Data Using Self-Attention

Saif Mahmud, M Tanjid Hasan Tonmoy+6 more|arXiv (Cornell University)|Mar 17, 2020

Context-Aware Activity Recognition Systems参考文献 27被引用数 44

ひとこと要約

この論文は、HAR の自己回帰を用いない自己注意ベースのニューラルネットワークを提案し、センサモダリティ注意、自己注意ブロック、グローバル時系列注意を用いて4つの公開データセット全体で活動認識を改善します。ベンチマークおよび LOSO 評価で最先端の性能を達成し、解釈可能なセンサ注意マップを提供します。

ABSTRACT

Human Activity Recognition from body-worn sensor data poses an inherent challenge in capturing spatial and temporal dependencies of time-series signals. In this regard, the existing recurrent or convolutional or their hybrid models for activity recognition struggle to capture spatio-temporal context from the feature space of sensor reading sequence. To address this complex problem, we propose a self-attention based neural network model that foregoes recurrent architectures and utilizes different types of attention mechanisms to generate higher dimensional feature representation used for classification. We performed extensive experiments on four popular publicly available HAR datasets: PAMAP2, Opportunity, Skoda and USC-HAD. Our model achieve significant performance improvement over recent state-of-the-art models in both benchmark test subjects and Leave-one-subject-out evaluation. We also observe that the sensor attention maps produced by our model is able capture the importance of the modality and placement of the sensors in predicting the different activity classes.

研究の動機と目的

• 時系列ウェアラブルセンサデータにおける時空間依存性を HAR において捉える課題を動機付け、対処する。
• 多センサ入力から頑健な特徴表現を学習する、非再帰的な自己注意ベースのアーキテクチャを提案する。
• センサモダリティ注意とグローバル時系列注意を組み込み、空間的・時間的文脈を捉える。
• 4つの公開 HAR データセットで評価し、最先端の再帰型および注意ベースモデルと比較する。
• センサ注意マップを通じて解釈性を示し、ウィンドウサイズの効果を分析する。

提案手法

• 異なるセンサからの入力を重み付けするためにセンサモダリティ注意を適用する。
• 重み付けされたセンサ入力を 1-D 畳み込みで d 次元のベクトルに変換し、位置エンコーディングを用いる。
• ウィンドウ内の時間的関係をモデル化するためにマルチヘッド自己注意ブロックを組み込む。
• 分類のための重み付き時間的要約を計算するグローバル時系列注意層を追加する。
• エンドツーエンドの学習アプローチで訓練し、最終的にはソフトマックスを用いた全結合層で活動ラベルを出力する。
• サンプル単位およびウィンドウ単位の設定で評価し、Leave-One-Subject-Out (LOSO) 検証を行う。

実験結果

リサーチクエスチョン

• RQ1 自己注意ベースのアーキテクチャは再帰層なしで HAR における時空間依存性を捉えられるか？
• RQ2 センサモダリティ注意は多センサ入力の HAR における有用性を向上させるか、 diverse なデータセットで？
• RQ3 ベンチマーク対象の被験者および LOSO-CV は最先端の手法と比較してどのようにパフォーマンスを示すか？
• RQ4 認識性能とモデルの頑健性に対するウィンドウサイズの影響はどうか？
• RQ5 注意マップはセンサ配置および activity タイプに対して解釈可能か？

主な発見

Dataset	Sample-wise Proposed	Sample-wise DeepConvLSTM	Sample-wise ConvAE	Window-wise Proposed	Window-wise DeepConvLSTM	Window-wise ConvAE	Leave-One-Subject-Out Proposed	Leave-One-Subject-Out DeepConvLSTM	Leave-One-Subject-Out ConvAE
PAMAP2	0.95	0.96	0.71	0.70	0.52	0.80	0.88	0.90	0.89
Opportunity	0.61	0.67	0.66	0.58	0.60	0.60	0.71	-	-
USC-HAD	0.50	0.55	0.42	0.38	0.42	0.46	-	-	-
Skoda	0.93	0.97	0.96	0.88	0.82	0.79	0.91	0.94	0.93

• 提案モデルは、ベンチマークテストにおいて PAMAP2、Opportunity、USC-HAD、SKODA のウィンドウ単位マクロ F1 スコアで DeepConvLSTM および ConvAE より高い値を達成する。
• モデルは LOSO-CV 性能が高く、データセット全体で DeepConvLSTM および ConvAE を上回る。
• PAMAP2 では、モデルは 0.95/0.96（サンプル単位）および 0.71/0.70/0.52/0.80/0.88/0.90/0.89（各ベースライン）を得て、注意強化変種の競争力のある向上を示す。
• Opportunity では、ウィンドウ単位のマクロ F1 が 0.67（DeepConvLSTM 0.58）および 0.60（ConvAE）へ改善する。
• USC-HAD および SKODA では、提案モデルはウィンドウ単位の指標で競合する注意ベース手法と一致または上回り、いくつかのサンプル単位指標で優位を示す。
• センサモダリティ注意マップは、特定の活動に対するセンサ配置の直感的な重要性と一致している（例：アイロン掛けは手のセンサにより依存が大きい）。