[论文解读] GLOBEM Dataset: Multi-Year Datasets for Longitudinal Human Behavior Modeling Generalization

Xuhai Xu, Han Zhang+14 more|arXiv (Cornell University)|Nov 4, 2022

Digital Mental Health Interventions被引用 13

一句话总结

该论文介绍了 GLOBEM，这是首个包含 705 人年移动设备与可穿戴设备传感器数据的多年被动感知数据集，涵盖 497 名独立参与者的纵向幸福感指标。该数据集支持行为建模算法的跨数据集评估，表明现有抑郁症检测模型和领域泛化技术具有潜力，但仍需进一步改进以实现跨用户和时间的稳健泛化能力。

ABSTRACT

Recent research has demonstrated the capability of behavior signals captured by smartphones and wearables for longitudinal behavior modeling. However, there is a lack of a comprehensive public dataset that serves as an open testbed for fair comparison among algorithms. Moreover, prior studies mainly evaluate algorithms using data from a single population within a short period, without measuring the cross-dataset generalizability of these algorithms. We present the first multi-year passive sensing datasets, containing over 700 user-years and 497 unique users' data collected from mobile and wearable sensors, together with a wide range of well-being metrics. Our datasets can support multiple cross-dataset evaluations of behavior modeling algorithms' generalizability across different users and years. As a starting point, we provide the benchmark results of 18 algorithms on the task of depression detection. Our results indicate that both prior depression detection algorithms and domain generalization techniques show potential but need further research to achieve adequate cross-dataset generalizability. We envision our multi-year datasets can support the ML community in developing generalizable longitudinal behavior modeling algorithms.

研究动机与目标

• 解决缺乏公开、全面的数据集以评估纵向行为建模算法在跨数据集上的泛化能力的问题。
• 提供一个标准化的开放测试平台，公平比较不同用户和时间段的行为建模算法。
• 利用真实世界、多年传感器数据和自我报告数据，支持抑郁症检测算法的基准测试。
• 支持在自然环境真实场景中采集的时间序列数据的领域泛化技术研究。
• 促进基于被动感知的稳健、可部署的纵向健康监测系统的发展。

提出的方法

• 在四年（2018–2021 年）内持续收集智能手机和可穿戴设备的被动传感器数据（位置、手机使用、通话、蓝牙、活动、睡眠）。
• 通过移动应用和可穿戴设备与参与者互动，确保在最小用户负担下实现 24/7 背景数据采集。
• 通过每周和每半年一次的自我报告问卷补充传感器数据，测量心理健康、幸福感和行为指标。
• 通过仅发布特征级表示的方式对敏感数据（如位置）进行匿名化和凭证保护，以防止隐私泄露。
• 将数据集结构化以支持多种泛化基准：跨年份的相同用户、跨年份的不同用户，以及跨年份的模型迁移。
• 在二元抑郁症检测任务上重新实现并评估 18 种最先进算法，包括 9 种先前的抑郁症检测模型和 8 种近期的深度学习方法。

实验结果

研究问题

• RQ1 现有抑郁症检测算法在真实世界纵向传感器数据中，对不同用户和年份的泛化程度如何？
• RQ2 当应用于多年被动感知数据进行行为建模时，领域泛化技术的表现如何？
• RQ3 在使用移动设备和可穿戴传感器进行纵向行为建模时，实现稳健跨数据集泛化的主要挑战是什么？
• RQ4 跨年份的数据稀疏性和缺失性如何影响模型性能和泛化能力？
• RQ5 GLOBEM 数据集能否作为评估行为建模算法泛化能力的可靠基准，超越抑郁症检测任务？

主要发现

• GLOBEM 数据集包含来自 497 名独立参与者的 705 人年多模态传感器数据，历时四年，自我报告与被动感知数据保持一致。
• 抑郁症检测性能在不同用户和年份之间存在显著差异，表明真实世界纵向数据中存在显著的领域偏移。
• 现有抑郁症检测算法在跨不同参与者或时间周期测试时，表现中等但泛化能力有限。
• 领域泛化技术显示出潜力，但在该真实世界数据集上尚不足以实现稳健的跨数据集性能。
• 该数据集揭示了幸福感指标与有意义的行为相关性，例如手机使用习惯和睡眠模式的变化与抑郁症状相关。
• 该数据集的可用性已促成多篇同行评审论文的发表，研究主题包括心理健康、歧视以及疫情期间的学生幸福感。