[论文解读] A Comprehensive Review of Automated Data Annotation Techniques in Human Activity Recognition

Florenc Demrozi, Cristian Turetta+3 more|arXiv (Cornell University)|Jul 12, 2023

Context-Aware Activity Recognition Systems被引用 8

一句话总结

本文对人体动作识别（HAR）中的数据自动标注技术进行了首次系统性综述，将半自动与全自动方法按数据驱动、环境驱动与混合方式进行分类，基于筛选出的2401篇文献中的39项研究。

ABSTRACT

Human Activity Recognition (HAR) has become one of the leading research topics of the last decade. As sensing technologies have matured and their economic costs have declined, a host of novel applications, e.g., in healthcare, industry, sports, and daily life activities have become popular. The design of HAR systems requires different time-consuming processing steps, such as data collection, annotation, and model training and optimization. In particular, data annotation represents the most labor-intensive and cumbersome step in HAR, since it requires extensive and detailed manual work from human annotators. Therefore, different methodologies concerning the automation of the annotation procedure in HAR have been proposed. The annotation problem occurs in different notions and scenarios, which all require individual solutions. In this paper, we provide the first systematic review on data annotation techniques for HAR. By grouping existing approaches into classes and providing a taxonomy, our goal is to support the decision on which techniques can be beneficially used in a given scenario.

研究动机与目标

• 定义HAR标注问题及挑战，强调手工标注的劳动强度。
• 对HAR数据标注的自动化技术及其权衡进行系统性综述。
• 提出一个分类法来对标注方法进行分类，并在不同情景下识别优点/局限。
• 总结所评审工作中使用的数据集、设备/传感器、模型和活动，以 aiding 方法选择。

提出的方法

• 使用预定义查询对四大数据库（IEEE Xplore、ACM DL、Scopus、Web of Science）进行系统搜索。
• 基于PRISMA的筛选，对2401篇文献进行筛选以确定半自动或全自动HAR数据标注相关研究。
• 将已识别的工作分类为数据驱动、环境驱动和混合标注类别，并进一步分为半自动与全自动。
• 对研究属性（数据集、设备/传感器、模型、主体、活动）及标注技术（优点/缺点）进行表格综合。
• 在第4节中排除手动、传感器融合和众包相关工作，未纳入最终分析。

Figure 1. Overview on HAR in daily life activities.

实验结果

研究问题

• RQ1 针对HAR，提出了哪些自动标注技术，它们在数据驱动、环境驱动和混合范式中有何区别？
• RQ2 在数据集、设备和活动方面，半自动与全自动HAR标注方法的相对优点与局限性是什么？
• RQ3 在给定具体HAR任务和资源约束的情况下，如何选择合适的标注技术？
• RQ4 HAR标注研究的时空格局如何，是否存在增长趋势或标注方法学调查中的空白？

主要发现

• 在审阅的2401篇论文中，39项研究符合用于自动HAR数据标注的纳入标准。
• HAR数据标注存在明确的分类法：数据驱动、环境驱动和混合技术，每种又分为半自动和全自动变体。
• 传感器融合与众包在本综述中被单独处理并从最终的标注聚焦分析中排除。
• 自2006年以来，HAR自动化的研究兴趣不断增长，纳入/排除项数量随时间增加。
• 本综述提供了详细表格（表9–表18），摘要了所使用的数据集、设备/传感器、模型和活动，以及标注技术及其优缺点。
• 本工作声称是首次对HAR中自动数据标注技术进行系统性综述，基于39项纳入研究。

Figure 2. Overview on HAR annotation taxonomy.