[论文解读] Challenges in Annotation of useR Data for UbiquitOUs Systems: Results from the 1st ARDUOUS Workshop

Kristina Yordanova, Adeline Paiement+6 more|arXiv (Cornell University)|Mar 15, 2018

Context-Aware Activity Recognition Systems参考文献 21被引用 14

一句话总结

本文基于2017年首届ARDUOUS用户数据标注研讨会的成果，总结了在普适计算系统中对用户数据进行标注所面临的挑战，识别出标注质量、一致性及工具使用方面的关键问题。研究提出了一套改进标注实践的路线图，包括采用标准化方法、多标注者策略以及自动化工具，以提升数据可重用性与普适应用中的系统性能。

ABSTRACT

Labelling user data is a central part of the design and evaluation of pervasive systems that aim to support the user through situation-aware reasoning. It is essential both in designing and training the system to recognise and reason about the situation, either through the definition of a suitable situation model in knowledge-driven applications, or through the preparation of training data for learning tasks in data-driven models. Hence, the quality of annotations can have a significant impact on the performance of the derived systems. Labelling is also vital for validating and quantifying the performance of applications. In particular, comparative evaluations require the production of benchmark datasets based on high-quality and consistent annotations. With pervasive systems relying increasingly on large datasets for designing and testing models of users' activities, the process of data labelling is becoming a major concern for the community. In this work we present a qualitative and quantitative analysis of the challenges associated with annotation of user data and possible strategies towards addressing these challenges. The analysis was based on the data gathered during the 1st International Workshop on Annotation of useR Data for UbiquitOUs Systems (ARDUOUS) and consisted of brainstorming as well as annotation and questionnaire data gathered during the talks, poster session, live annotation session, and discussion session.

研究动机与目标

• 解决普适计算与普适计算系统中数据标注这一关键但常被忽视的作用。
• 识别人工标注中的核心挑战，包括主观性、不一致性、缺乏真实标签以及可复现性差。
• 通过建立最佳实践与标准化方法，提升标注数据集的质量与可重用性。
• 探索支持大规模数据背景下可扩展、长期标注的工具与自动化技术。
• 促进整个社区对标注作为构建可靠、情境感知的普适应用基础步骤的反思。

提出的方法

• 组织了一场现场标注活动，邀请七名参与者使用两种标注工具，对比其易用性与性能表现。
• 开展结构化讨论会，识别标注工作流中反复出现的挑战及潜在解决方案。
• 收集了8篇同行评审论文以及一篇关于活动识别与室内定位实际标注经验的主旨演讲的见解。
• 提出双组标注策略：一组用于检测动作边界，另一组用于标注活动类型。
• 探索替代方法，例如使用非计算机科学背景的学生（如心理学或社会科学背景）以提升标注参与度并减少偏差。
• 评估传感器选择的权衡，主张在自然情境数据采集中优先选用智能手机与智能手表等日常设备，而非外接加速度计。

实验结果

研究问题

• RQ1 在普适系统中，对用户数据进行高质量、一致标注的主要挑战是什么？
• RQ2 如何使标注流程在长期、真实环境部署中更具可靠性、可复现性与可扩展性？
• RQ3 研究问题在多大程度上影响数据收集与标注设计的制定？
• RQ4 如何使标注过程对标注者（尤其是学生）更具吸引力与可持续性？
• RQ5 自动化或工具辅助方法在多大程度上可减少人工工作量，同时保持标注质量？

主要发现

• 标注质量受到标注者主观性、缺乏明确真实标签以及不一致的标注实践的严重影响，常导致公开数据集无法使用。
• 人工标注耗时且易出错，尤其在标注复杂、并发或模糊的人类活动时更为明显。
• 采用双组标注策略——将动作边界检测与活动类型标注分离——可提升准确性并减轻认知负荷。
• 非计算机科学背景的学生，尤其是具有社会科学或心理学训练的学生，其标注结果比计算机科学学生更可靠、参与度更高，后者可能因技术实现视角而引入偏差。
• 在自然情境数据采集中，智能手机与智能手表等日常可穿戴设备通常优于外接传感器，因其可降低用户负担并提高配合度。
• 在数据收集阶段缺乏明确研究问题，即使在探索性研究中，也会导致数据质量差、结果不理想。