[論文レビュー] Efficient Dense Labeling of Human Activity Sequences from Wearables using Fully Convolutional Networks

Rui Yao, Guosheng Lin+2 more|arXiv (Cornell University)|Feb 20, 2017

Context-Aware Activity Recognition Systems参考文献 15被引用数 5

ひとこと要約

本論文は、固定サイズのスライディングウィンドウを不要とし、ラベルの一貫性の問題を克服することで、ウェアラブルセンサーからの人間の行動シーケンスの効率的かつ高密度ラベリングを実現する、完全畳み込みネットワーク（FCN）ベースの手法を提案する。3つのデータセット、特に新規の病院ベースのデータセットにおいて、最先端の性能を達成しており、Opportunityデータセットでは59.0%の重み付きF-measureを達成（従来のCNN手法比11%上回り）、推論速度は5倍速い。

ABSTRACT

Recognizing human activities in a sequence is a challenging area of research in ubiquitous computing. Most approaches use a fixed size sliding window over consecutive samples to extract features---either handcrafted or learned features---and predict a single label for all samples in the window. Two key problems emanate from this approach: i) the samples in one window may not always share the same label. Consequently, using one label for all samples within a window inevitably lead to loss of information; ii) the testing phase is constrained by the window size selected during training while the best window size is difficult to tune in practice. We propose an efficient algorithm that can predict the label of each sample, which we call dense labeling, in a sequence of human activities of arbitrary length using a fully convolutional network. In particular, our approach overcomes the problems posed by the sliding window step. Additionally, our algorithm learns both the features and classifier automatically. We release a new daily activity dataset based on a wearable sensor with hospitalized patients. We conduct extensive experiments and demonstrate that our proposed approach is able to outperform the state-of-the-arts in terms of classification and label misalignment measures on three challenging datasets: Opportunity, Hand Gesture, and our new dataset.

研究の動機と目的

• 固定サイズのスライディングウィンドウに起因するラベルの一貫性の問題に対処する。これは、1つのウィンドウ内に複数のラベルが存在する場合があるためである。
• テスト時のウィンドウサイズ依存性の制限を克服する。これにより、モデルの柔軟性が向上し、リアルタイムアプリケーションにおける予測遅延が低減される。
• 手動による特徴工学やウィンドウベースのセグメンテーションを必要としない、エンドツーエンドでの特徴および分類器の学習を可能にする。
• HAR研究を支援するため、入院中の高齢者から収集した新規の公開可能な日常行動データセットを公開する。
• 高密度なサンプルレベルラベリングにより、特に長時間継続するか、発生頻度が低い行動に対して、クラス不均衡へのロバスト性を向上させる。

提案手法

• 固定サイズのウィンドウを必要とせず、任意長のセンサーシーケンスを処理できる完全畳み込みネットワーク（FCN）アーキテクチャを採用する。
• 従来のスライディングウィンドウによる特徴抽出を、入力サンプルごとに直接ラベルを予測する完全畳み込みフレームワークに置き換える。
• エンドツーエンド学習により、特徴の判別力と分類境界を同時に学習し、手作業による特徴抽出やヒューリスティクスの必要性を排除する。
• 時間的・空間的パターンを、センサーチャネルおよび時間ステップ全体にわたって捉えるために、学習可能なフィルタを備えた時空間畳み込み層を適用する。
• 出力層でグローバル平均プーリングとソフトマックス分類を用い、すべての行動クラスに対して各サンプルごとの予測を生成する。
• 実世界のHARデータにおけるクラス不均衡の影響を軽減するため、クラスウェイトを適用した交差エントロピー損失を用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 完全畳み込みネットワークは、ラベルの曖昧性を扱う上で、スライディングウィンドウベースの手法に比べて優れた性能を示すだろうか？
• RQ2 本手法は、固定ウィンドウ制約を持つ標準的なCNNと比較して、予測遅延をどの程度低減し、推論効率を向上させるだろうか？
• RQ3 本モデルは、特に長時間継続するか、発生頻度が低い行動を認識する上で、不均衡なデータセットでもどの程度の性能を示すだろうか？
• RQ4 本手法は、ウィンドウサイズに依存しない推論を実現するため、再トレーニングなしに異なる被験者やデータセットに一般化できるだろうか？
• RQ5 入院中の患者から収集した臨床的意義のある新規データセットの公開により、実世界のHARモデル評価がどの程度向上するだろうか？

主な発見

• 本手法は、Opportunityデータセット全体で59.0%の重み付きF-measureを達成し、Yangら（2015）のCNN手法比で11%の向上を示した。
• 混乱行列から、立ち上がりや横になるなどの行動遷移の処理において優れた性能を示しており、時間的境界での誤一致が少ないことが確認された。
• 本手法は入力部分列の長さに依存しないため、再トレーニングやウィンドウサイズの制約なしに、任意長のシーケンスに対する推論が可能である。
• 推論速度は著しく速く、Yangら（2015）のCNN手法の1/5、ベースライン手法の1/10の時間で実行できる。
• すべての比較手法に比べ、誤分離（断片化、削除、置換）の指標が優れており、真の行動開始・終了時刻をより正確に検出できていることが示された。
• 新規の病院ベースのデータセットにおいて、ヌルクラスが存在しないにもかかわらず、他の手法と比較して顕著に高い重み付きF-measureを達成しており、クラス不均衡へのロバスト性が確認された。