[论文解读] Action2Activity: Recognizing Complex Activities from Sensor Data

Ye Liu, Liqiang Nie+3 more|arXiv (Cornell University)|Nov 7, 2016

Context-Aware Activity Recognition Systems参考文献 25被引用 295

一句话总结

本文提出时序模式挖掘以表示复杂活动，并提出一个自适应多任务学习框架以从传感器数据中识别它们，在一个真实世界数据集上进行了演示。

ABSTRACT

As compared to simple actions, activities are much more complex, but semantically consistent with a human's real life. Techniques for action recognition from sensor generated data are mature. However, there has been relatively little work on bridging the gap between actions and activities. To this end, this paper presents a novel approach for complex activity recognition comprising of two components. The first component is temporal pattern mining, which provides a mid-level feature representation for activities, encodes temporal relatedness among actions, and captures the intrinsic properties of activities. The second component is adaptive Multi-Task Learning, which captures relatedness among activities and selects discriminant features. Extensive experiments on a real-world dataset demonstrate the effectiveness of our work.

研究动机与目标

• 解释在现实生活传感器数据中弥合动作识别和高级活动之间的需求。
• 开发能够捕捉序列化、交错和并发动作关系以描述活动的时序模式挖掘方法。
• 提出一个自适应多任务学习模型，以捕捉活动之间的相关性并选择判别模式。
• 在真实世界数据集上评估所提出的方法，以证明相对于基线的有效性。

提出的方法

• 使用 Allen 的时序关系从动作序列中挖掘频繁的时序模式，创建用于活动的基于模式的特征空间。
• 用模式的支持度来表示每个活动，形成高维特征向量。
• 将活动识别公式化为跨 M 个活动的多任务学习，其中 aW 为权重矩阵，并通过学习的 Omega 矩阵来学习任务相关性。
• 使用 L2,1（组拉索）惩罚来鼓励共享和任务特异特征，同时选择判别模式。
• 通过交替优化求解：在固定 Omega 的情况下用 FISTA 更新 W，在固定 W 的情况下用封闭形式解 Omega = (W^T W)^{1/2} / tr((W^T W)^{1/2}).
• 由于收敛性和成本考量，模式维度评估上限为 3。

实验结果

研究问题

• RQ1 时序模式是否能捕捉动作之间的内在语义，从而揭示复杂活动？
• RQ2 自适应多任务学习是否通过利用活动之间的相关性并选择判别特征来提高活动识别？
• RQ3 模式维度和正则化参数对识别精度的影响是什么？

主要发现

• 时序模式（特别是更高阶模式如 {1,2} 和 {1,2,3}）在识别上优于基于动作袋表示。
• aMTL 持续优于单任务基线和传统 MTL，准确率比 MTL 高 2–4%，比 GL 高 3–6%。
• 在 Opportunity 数据集上，{1,2}-pattern 与 aMTL 的组合达到 98.0% 的准确率，{1,2,3}-patterns + aMTL 达到 99.2% 的准确率。
• 学习得到的任务关系矩阵 Omega 显示出活动之间的有意义相关性（如 咖啡时间 与 三明治时间 相关）。
• 与 HMM、CRF 和 ITBN 相比，提出的方法在同一数据上使用时序模式与 aMTL 能获得更高的准确率。