[論文レビュー] Action2Activity: Recognizing Complex Activities from Sensor Data

Ye Liu, Liqiang Nie+3 more|arXiv (Cornell University)|Nov 7, 2016

Context-Aware Activity Recognition Systems参考文献 25被引用数 295

ひとこと要約

この論文は、複雑な活動を表現するための時系列パターンマイニングと、センサデータからそれらを認識する適応的マルチタスク学習フレームワークを導入し、実世界データセットで実証します。

ABSTRACT

As compared to simple actions, activities are much more complex, but semantically consistent with a human's real life. Techniques for action recognition from sensor generated data are mature. However, there has been relatively little work on bridging the gap between actions and activities. To this end, this paper presents a novel approach for complex activity recognition comprising of two components. The first component is temporal pattern mining, which provides a mid-level feature representation for activities, encodes temporal relatedness among actions, and captures the intrinsic properties of activities. The second component is adaptive Multi-Task Learning, which captures relatedness among activities and selects discriminant features. Extensive experiments on a real-world dataset demonstrate the effectiveness of our work.

研究の動機と目的

• 実生活のセンサデータにおいて、アクション認識と高レベルの活動を橋渡しする必要性を動機づける。
• 活動を記述するために、順序的・交互的・同時的なアクション関係を捉える時系列パターンマイニング手法を開発する。
• 活動間の関連性を捉え、識別的なパターンを選択する適応的マルチタスク学習モデルを提案する。
• 提案手法を実世界データセットで評価し、ベースラインに対する有効性を示す。

提案手法

• Allenの時系列関係を用いてアクション列から頻繁な時系列パターンを抽出し、活動のパターンベースの特徴空間を作成する。
• 各活動をパターンサポートで表現し、高次元の特徴ベクトルを形成する。
• 活動認識を、M個の活動に跨るマルチタスク学習として定式化し、aWを重み行列とし、学習されたOmega行列を用いてタスク間の関連性を学習する。
• 共有特徴とタスク固有特徴を促進しつつ、識別的パターンを選択するためにL2,1（グループLasso）ペナルティを用いる。
• 交互最適化により最適化を解く：Omegaを固定した状態でFISTAを用いてWを、Wを固定した状態で閉形式解 Omega = (W^T W)^{1/2} / tr((W^T W)^{1/2}) を用いてOmegaを求める。
• 収束性とコストを考慮して、パターン次元を最大で3まで評価する。

実験結果

リサーチクエスチョン

• RQ1 アクション間の時系列パターンは、複雑な活動の本質的意味を捉えることができるか。
• RQ2 関連性を活用し識別的特徴を選択することで、適応的マルチタスク学習は活動認識を改善するか。
• RQ3 パターンの次元と正則化パラメータが認識精度に及ぼす影響は何か。

主な発見

• 時系列パターン（特に{1,2}や{1,2,3} のような高次のパターン）は、アクションの袋表現よりも認識性能を向上させる。
• aMTLは一貫して単一タスクのベースラインと従来のMTLを上回り、MTLより2–4%、GLより3–6%の精度向上を示す。
• Opportunityデータセットでは、{1,2}-パターン + aMTLアプローチが98.0%の精度を達成し、{1,2,3}-パターン + aMTLは99.2%の精度を達成。
• 学習されたタスク間関連性行列 Omega は、活動間の意味ある関連性を明らかにする（例：コーヒーの時間はサンドイッチの時間と相関する等）。
• HMM、CRF、ITBNと比較して、時系列パターンとaMTLを組み合わせた提案手法が、同じデータ上でより高い精度を達成する。