[论文解读] Extraction of Behavioral Features from Smartphone and Wearable Data

Afsaneh Doryab, Prerna Chikarsel+2 more|arXiv (Cornell University)|Dec 18, 2018

Human Mobility and Location-Based Analysis参考文献 1被引用 8

一句话总结

本文提出了一种通用且可扩展的框架，用于从智能手机和可穿戴设备的传感器数据中提取 77,805 项行为特征，涵盖多种模态（如蓝牙、位置、手机使用、步数、睡眠）和时间粒度（每日、每周、学期）。该方法为移动健康与普适计算研究中的行为建模提供了可复现且具有行为意义的特征工程支持。

ABSTRACT

The rich set of sensors in smartphones and wearable devices provides the possibility to passively collect streams of data in the wild. The raw data streams, however, can rarely be directly used in the modeling pipeline. We provide a generic framework that can process raw data streams and extract useful features related to non-verbal human behavior. This framework can be used by researchers in the field who are interested in processing data from smartphones and Wearable devices.

研究动机与目标

• 解决行为研究中移动和可穿戴传感器数据缺乏标准化、可重用的特征提取流程的问题。
• 通过提供一组良好记录的通用行为特征，实现可复现性并支持跨研究比较。
• 通过整合多样化传感器流（如位置、蓝牙、手机使用、步数、睡眠）支持多模态行为建模。
• 通过分析每周特征趋势的斜率和断点，捕捉随时间变化的行为动态变化。
• 通过提供可扩展、模块化的框架，适应不同研究场景和数据集，促进大规模行为建模。

提出的方法

• 利用 AWARE 框架，从智能手机和可穿戴设备中被动收集 14 个传感器通道的去标识化数据。
• 从七个核心数据流中提取特征：蓝牙、通话、位置、校园地图、手机使用、步数和睡眠。
• 在多种时间粒度上处理数据：4 个每日时段（上午、下午、晚上、夜间）、工作日、周末和学期周期。
• 对蓝牙扫描数据应用 Z-标准化和 K-均值聚类（K=2 和 K=3），根据扫描频率和天数将设备分类为“自身”、“相关”或“其他”。
• 通过每周特征值的线性回归和分段线性回归计算行为变化特征，以检测趋势、断点和行为转变。
• 通过融合传感器数据和基于阈值的推理（例如，建筑物内停留 ≥20 分钟且语音活动占比 ≥80% 时定义为社交时长）来定义行为状态（如久坐、社交、活跃）。

实验结果

研究问题

• RQ1 如何设计一种通用且可重用的框架，从多模态智能手机和可穿戴传感器数据中提取具有行为意义的特征？
• RQ2 在不同时间尺度下，哪些特征最具代表性且最具区分性，能够捕捉非语言的人类行为？
• RQ3 如何利用纵向特征趋势对随时间的行为变化进行定量建模？
• RQ4 与单传感器方法相比，融合传感器数据在多大程度上能提高行为状态推断（如社交、久坐、活跃）的准确性？
• RQ5 标准化的特征集在多大程度上能提升移动健康与普适计算领域行为建模研究中的可复现性和可比性？

主要发现

• 该框架从七个核心数据流中提取了总计 77,805 项行为特征，支持全面的行为建模。
• 对 Z-标准化后的频率和扫描天数数据应用 K-均值聚类，成功区分了“自身”、“相关”和“其他”设备，且模型选择最优。
• 行为变化特征（包括斜率、断点和分段斜率）能有效捕捉随时间的行为趋势转变，其中断点检测采用贝叶斯信息准则（BIC）。
• 通过融合位置数据（住宅区或绿地）与通话传感器数据，可准确推断社交时长，要求在这些区域停留时间 ≥20 分钟且语音/噪声检测占比 ≥80%。
• 手机使用特征（包括屏幕解锁频率、总解锁时间及连续解锁时长统计）提供了数字交互模式的详细洞察。
• 睡眠和步数特征源自 Fitbit API 输出，通过分段级统计（如平均、最大、最小时长）和效率指标（如高效率睡眠）实现稳健的行为表征。