[论文解读] ActiLabel: A Combinatorial Transfer Learning Framework for Activity Recognition

Parastoo Alinia, Seyed-Iman Mirzadeh+1 more|arXiv (Cornell University)|Mar 16, 2020

Context-Aware Activity Recognition Systems参考文献 25被引用 6

一句话总结

ActiLabel 是一种组合式迁移学习框架，通过学习源域和目标域中活动事件依赖图之间的结构相似性，实现在新领域中的无标签活动识别。在跨模态、跨位置和跨被试的迁移学习场景中，其平均F1得分达到71.9%，优于当前最先进方法。

ABSTRACT

Sensor-based human activity recognition has become a critical component of many emerging applications ranging from behavioral medicine to gaming. However, an unprecedented increase in the diversity of sensor devices in the Internet-of-Things era has limited the adoption of activity recognition models for use across different domains. We propose ActiLabel a combinatorial framework that learns structural similarities among the events in an arbitrary domain and those of a different domain. The structural similarities are captured through a graph model, referred to as the it dependency graph, which abstracts details of activity patterns in low-level signal and feature space. The activity labels are then autonomously learned by finding an optimal tiered mapping between the dependency graphs. Extensive experiments based on three public datasets demonstrate the superiority of ActiLabel over state-of-the-art transfer learning and deep learning methods.

研究动机与目标

• 解决活动识别模型在多样化传感器领域间因分布偏移导致泛化能力差的挑战。
• 在无标签数据存在于目标领域的归纳式迁移学习设置中，实现无标签知识迁移。
• 利用跨领域的活动事件结构依赖关系，实现高层抽象与知识迁移。
• 开发一种对传感器数据在跨模态、跨位置和跨被试方面变化具有鲁棒性的框架。
• 在高度多样的领域中，性能优于现有深度学习与迁移学习基线方法。

提出的方法

• 基于特征相似性，使用k近邻（k-NN）连接从原始传感器数据构建网络图。
• 应用社区检测算法识别网络图中的核心活动聚类。
• 构建依赖图以建模已识别活动聚类之间的结构关系。
• 设计多层匹配算法，寻找源域与目标域依赖图之间的最优分层映射。
• 使用组合优化方法对齐跨领域的结构模式，而无需依赖低层特征空间对齐。
• 通过使用优化映射将目标域的依赖图映射到源域图，自动推断目标域中的活动标签。

实验结果

研究问题

• RQ1 是否能够可靠地提取活动事件之间的结构依赖关系，并用于在高度多样的传感器领域之间迁移知识？
• RQ2 在无标签数据条件下，基于组合优化的方法在映射源域与目标域活动结构方面有多高效？
• RQ3 该框架在跨模态、跨位置和跨被试活动识别中，相较于现有迁移学习与深度学习方法，性能提升程度如何？
• RQ4 当源域与目标域的传感器模态、佩戴位置或被试存在显著差异时，该框架表现如何？
• RQ5 活动模式中的高层结构相似性是否足以补偿传感器数据中显著的分布偏移？

主要发现

• ActiLabel 在所有跨模态、跨位置和跨被试迁移场景中平均F1得分为71.9%，显著优于基线方法与最先进方法。
• 在跨模态迁移中，ActiLabel 在 PAMAP2 上取得59.3%的F1得分，在 DAS 上为66.2%，在 Smartsock 上为72.7%，分别优于 DirectMap 19.3%、21.4% 和6.7%。
• 在跨位置迁移中，ActiLabel 在 PAMAP2 上取得70.8%的F1得分，在 DAS 上为68.4%，平均性能优于 DirectMap 32.7%。
• 在跨被试迁移中，ActiLabel 在 PAMAP2 上取得82.7%的F1得分，在 DAS 上为80.3%，平均优于 DirectMap 9.1%。
• 对于相似身体位置的映射（如胸部到胸部、左臂到右臂），标签准确率高于70.3%；对于不相似位置，准确率下降至58.3%–65.1%。
• 该框架在存在高空间与时间分布偏移的场景中表现出鲁棒性，证实活动事件的结构依赖关系在不同领域间得以保持。