[論文レビュー] Sequential Weakly Labeled Multi-Activity Recognition and Location on Wearable Sensors using Recurrent Attention Network

Kun Wang, Jun He+1 more|arXiv (Cornell University)|Apr 13, 2020

Context-Aware Activity Recognition Systems参考文献 23被引用数 3

ひとこと要約

本論文は、ウェアラブルセンサーを用いた順序付き弱ラベル付きマルチアクティビティ認識および位置特定のための再帰的アテンションネットワークを提案し、1つのセグメント内で複数のアクティビティに対して反復的なアテンションを可能にしている。モデルは精度を向上させるとともに、データセグメンテーションを自動化し、UniMiB-SHARおよびカスタムの順序付き弱ラベル付きデータセットにおいて、CNNベースラインを上回っている。

ABSTRACT

With the popularity and development of the wearable devices such as smartphones, human activity recognition (HAR) based on sensors has become as a key research area in human computer interaction and ubiquitous computing. The emergence of deep learning leads to a recent shift in the research of HAR, which requires massive strictly labeled data. In comparison with video data, activity data recorded from an accelerometer or gyroscope is often more difficult to interpret and segment. Recently, several attention mechanisms are proposed to handle the weakly labeled human activity data, which do not require accurate data annotation. However, these attention-based models can only handle the weakly labeled dataset whose segment includes one labeled activity, as a result it limits efficiency and practicality. In the paper, we proposed a recurrent attention network to handle sequential activity recognition and location tasks. The model can repeatedly perform steps of attention on multiple activities of one segment and each step is corresponding to the current focused activity according to its previous observations. The effectiveness of the recurrent attention model is validated by comparing with a baseline CNN, on the UniMiB-SHAR dataset and a collected sequential weakly labeled multi-activity dataset. The experiment results show that our recurrent attention model not only can perform single activity recognition tasks, but also can recognize and locate sequential weakly labeled multi-activity data. Besides, the recurrent attention can greatly facilitate the process of sensor data accumulation by automatically segmenting the regions of interest.

研究の動機と目的

• 既存のアテンションモデルが弱ラベル付きの人間のアクティビティ認識において、単一アクティビティセグメントに限定されているという制限に対処すること。
• 1つのラベルなしセグメント内に複数の順序付きアクティビティを正確に認識および局所化できること。
• センサーデータ内の注目領域を自動的に特定することで、正確な手動アノテーションへの依存を低減すること。
• 実世界のウェアラブルセンサーアプリケーションにおける実用性と効率性を向上させること。

提案手法

• 以前の観測に基づいて、1つのセグメント内で複数のアクティビティに段階的に注目する再帰的アテンションメカニズムを提案する。
• 複数ステップにわたり焦点を更新するアテンションモジュールを用い、1つのセグメント内で複数のアクティビティを検出可能にする。
• 再帰的処理を活用してアテンションステップ間で文脈を維持し、順序付きアクティビティの認識を向上させる。
• 加速度計およびジャイロスコープのデータを用いて、アクティビティ認識および位置タスクの両方へ適用する。
• セグメントレベルのラベルしか入手できない弱ラベル付きデータ上で、ネットワークをエンドツーエンドに訓練する。
• 活動クラスとそのセグメント内での時間的位置を同時に予測するダブルヘッドアーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 再帰的アテンションメカニズムは、1つの弱ラベル付きセグメント内に複数の順序付きアクティビティを効果的に認識できるか？
• RQ2 標準のCNNと比較して、再帰的アテンションモデルは弱ラベル付きマルチアクティビティ認識においてどの程度高い精度を示すか？
• RQ3 正確なアノテーションがなくても、モデルは生のセンサーデータから注目領域をどの程度自動的にセグメンテーションできるか？
• RQ4 実世界のウェアラブルセンサーデータにおいて、複雑で重複するアクティビティシーケンスを処理しても、モデルの性能が維持されるか？

主な発見

• 再帰的アテンションモデルは、UniMiB-SHARデータセットおよびカスタムの順序付き弱ラベル付きマルチアクティビティデータセットの両方において、CNNベースラインを上回る優れた性能を達成している。
• モデルは1つのラベルなしセグメント内に複数の順序付きアクティビティを正確に認識および局所化できており、従来のアテンションモデルの単一アクティビティ制限を克服している。
• 再帰的アテンションメカニズムにより、注目領域の自動セグメンテーションが可能となり、手動によるデータクリーニング作業が削減された。
• アクティビティシーケンスが複雑で重複するセンサーデータにおいても、モデルは高い精度を維持している。
• アテンションメカニズムはアクティビティ間で焦点を動的にシフトさせ、過去の文脈に基づいて後続の行動を改善して検出している。
• 正確なアノテーションの必要性を最小限に抑えることで、実世界での導入において実用的な利点を示している。