[论文解读] B-HAR: an open-source baseline framework for in depth study of human activity recognition datasets and workflows

Florenc Demrozi, Cristian Turetta+1 more|arXiv (Cornell University)|Jan 23, 2021

Context-Aware Activity Recognition Systems被引用 9

一句话总结

B-HAR 是一个开源、可配置的框架，为人体活动识别（HAR）研究提供标准化、可复现的工作流程，整合了常见的数据预处理步骤以及机器/深度学习模型。该框架使研究人员能够系统性地在不同数据集上评估和比较 HAR 方法，同时最大限度减少因处理流程错误导致的误差，已在九个基准 HAR 数据集上进行了验证，涵盖惯性、生理和环境传感器。

ABSTRACT

Human Activity Recognition (HAR), based on machine and deep learning algorithms is considered one of the most promising technologies to monitor professional and daily life activities for different categories of people (e.g., athletes, elderly, kids, employers) in order to provide a variety of services related, for example to well-being, empowering of technical performances, prevention of risky situation, and educational purposes. However, the analysis of the effectiveness and the efficiency of HAR methodologies suffers from the lack of a standard workflow, which might represent the baseline for the estimation of the quality of the developed pattern recognition models. This makes the comparison among different approaches a challenging task. In addition, researchers can make mistakes that, when not detected, definitely affect the achieved results. To mitigate such issues, this paper proposes an open-source automatic and highly configurable framework, named B-HAR, for the definition, standardization, and development of a baseline framework in order to evaluate and compare HAR methodologies. It implements the most popular data processing methods for data preparation and the most commonly used machine and deep learning pattern recognition models.

研究动机与目标

• 为解决 HAR 方法评估缺乏标准化、可复现工作流程的问题，该问题阻碍了不同研究之间的公平比较。
• 通过提供可配置的基线框架，减少 HAR 管道设计中的常见错误，例如错误的处理顺序或配置不当的超参数。
• 在保持实验间预处理一致性的同时，支持即插即用的机器学习和深度学习模型，以及用户自定义模型。
• 通过强制要求对数据源、处理步骤和模型配置进行详细文档记录，提升 HAR 研究的透明度和可复现性。
• 通过标准化数据准备和评估流程，使研究人员能够公平比较不同数据集上的模型性能。

提出的方法

• B-HAR 实现了一个模块化、可配置的管道，协调执行包括噪声滤波、分段、特征提取、归一化、特征选择和类别平衡在内的数据预处理步骤。
• 该框架支持集成多种机器学习和深度学习模型，包括卷积神经网络（CNNs）、循环神经网络（RNNs）和传统分类器，并支持可配置的超参数。
• 用户可插入自定义模型，同时复用预定义的预处理工作流，确保一致性并减少实现错误。
• 该框架设计时注重可扩展性，支持未来集成新的数据处理技术、模型和性能指标。
• B-HAR 通过强制显式配置关键参数（如窗口大小、重叠率、归一化方法和训练/测试集划分策略）来贯彻最佳实践。
• 该框架已在九个广泛使用的 HAR 数据集上进行了验证，涵盖多种传感器类型（惯性、生理、环境）和活动类别。

实验结果

研究问题

• RQ1 标准化、可复现的工作流程在多大程度上能提升不同数据集和研究团队之间 HAR 模型评估的可比性和可靠性？
• RQ2 哪些关键的数据处理步骤通常会导致 HAR 管道中的错误或性能下降？如何系统性地管理这些步骤？
• RQ3 可配置的开源框架在多大程度上能减少实现错误并提升 HAR 研究的可复现性？
• RQ4 在标准化预处理管道中集成用户自定义模型，对模型性能和实验公平性有何影响？
• RQ5 为同时支持即插即用模型和新型网络架构，需要多高的可配置性水平，同时保持一致性与透明度？

主要发现

• B-HAR 在九个基准 HAR 数据集上成功支持了 HAR 工作流的实现与评估，证明了其对多样化传感器模态和活动类型的广泛兼容性。
• 该框架实现了对分段、归一化和特征选择等预处理步骤的一致且可复现的应用，减少了因手动配置错误导致的变异性。
• 通过强制结构化配置超参数和处理步骤，B-HAR 有效避免了常见陷阱，如错误的训练/测试集划分或不恰当的数据平衡。
• 在框架的标准化管道中集成用户自定义模型，使新型模型能够与现有基线模型进行公平比较，而无需重新实现预处理流程。
• 在多个数据集上的验证结果表明，B-HAR 保持了高度的可复现性和可配置性，支持标准和高级的 HAR 研究工作流。
• 该框架为未来扩展奠定了基础，包括支持图形用户界面（GUI）、新增性能指标，以及集成迁移学习和回归模型。