[논문 리뷰] GLOBEM Dataset: Multi-Year Datasets for Longitudinal Human Behavior Modeling Generalization

Xuhai Xu, Han Zhang외 14명|arXiv (Cornell University)|2022. 11. 04.

Digital Mental Health Interventions인용 수 13

한 줄 요약

이 논문은 497명의 고유 참가자로부터 705인-년에 달하는 스마트폰 및 웨어러블 센서 데이터를 포함한 다년간의 피로성 감시 데이터셋인 GLOBEM을 소개한다. 이 데이터셋은 종단간 건강 지표와 함께 제공되며, 행동 모델링 알고리즘의 교차 데이터셋 평가를 가능하게 하며, 기존의 우울증 탐지 모델과 도메인 일반화 기법이 유의미한 성과를 보이지만, 사용자 및 시간에 걸쳐 안정적인 일반화를 달성하기 위해 추가로 개선이 필요하다는 점을 시사한다.

ABSTRACT

Recent research has demonstrated the capability of behavior signals captured by smartphones and wearables for longitudinal behavior modeling. However, there is a lack of a comprehensive public dataset that serves as an open testbed for fair comparison among algorithms. Moreover, prior studies mainly evaluate algorithms using data from a single population within a short period, without measuring the cross-dataset generalizability of these algorithms. We present the first multi-year passive sensing datasets, containing over 700 user-years and 497 unique users' data collected from mobile and wearable sensors, together with a wide range of well-being metrics. Our datasets can support multiple cross-dataset evaluations of behavior modeling algorithms' generalizability across different users and years. As a starting point, we provide the benchmark results of 18 algorithms on the task of depression detection. Our results indicate that both prior depression detection algorithms and domain generalization techniques show potential but need further research to achieve adequate cross-dataset generalizability. We envision our multi-year datasets can support the ML community in developing generalizable longitudinal behavior modeling algorithms.

연구 동기 및 목표

• 종단간 일반화 성능을 평가하기 위한 공개적이고 종합적인 데이터셋이 부족한 문제를 해결한다.
• 다양한 사용자와 시간대를 아우르는 행동 모델링 알고리즘 간 공정한 비교를 위한 표준화된 개방형 테스트베드를 제공한다.
• 실생활의 다년간 센서 및 자가 보고 데이터를 활용해 우울증 탐지 알고리즘의 벤치마킹을 가능하게 한다.
• 자연주의 실생활 환경에서 수집된 시계열 데이터를 대상으로 도메인 일반화 기법에 대한 연구를 지원한다.
• 피로성 감시를 활용한 안정적이고 구현 가능한 종단간 건강 모니터링 시스템의 개발을 촉진한다.

제안 방법

• 2018~2021년 동안 스마트폰 및 웨어러블 기기에서 위치, 전화 사용, 통화, 블루투스, 활동, 수면 등의 연속적인 피로성 센서 데이터를 수집한다.
• 모바일 앱과 웨어러블 기기를 통해 참가자를 참여시키며, 사용자 부담을 최소화한 24시간 배경 데이터 수집을 보장한다.
• 정신 건강, 웰빙 및 행동 지표를 측정하기 위해 매주 및 반기별 자가 보고 설문지를 보완한다.
• 개인정보 유출을 방지하기 위해 민감한 데이터(예: 위치)를 익명화하고 자격 증명을 보호하며, 오직 기능 수준의 표현만을 배포한다.
• 동일 사용자 간 연도 간, 다른 사용자 간 연도 간, 연도 간 모델 이식을 지원하는 다중 일반화 벤치마크를 데이터셋에 구조화한다.
• 기존의 18개 최첨단 알고리즘(우울증 탐지 모델 9개, 최근 딥러닝 기법 8개)을 이진 우울증 탐지 작업에서 재현 및 평가한다.

실험 결과

연구 질문

• RQ1 기존의 우울증 탐지 알고리즘은 실생활 종단간 센서 데이터에서 다양한 사용자와 연도 간에 얼마나 잘 일반화되는가?
• RQ2 도메인 일반화 기법은 종단간 행동 모델링을 위한 다년간 피로성 감시 데이터에 적용되었을 때 어떻게 작동하는가?
• RQ3 모바일 및 웨어러블 센서를 활용한 종단간 행동 모델링에서 안정적인 교차 데이터셋 일반화를 달성하는 데 있어 핵심 과제는 무엇인가?
• RQ4 연도 간 데이터의 희소성과 누락이 모델 성능과 일반화에 어떤 영향을 미치는가?
• RQ5 GLOBEM 데이터셋은 우울증 탐지 이외의 목적을 위해 행동 모델링 알고리즘의 일반화 성능 평가를 위한 신뢰할 수 있는 벤치마크로 활용될 수 있는가?

주요 결과

• GLOBEM 데이터셋은 4년간의 일관된 자가 보고 및 피로성 감시 데이터 수집을 통해 497명의 고유 참가자로부터 705인-년의 다중 모odal 센서 데이터를 포함한다.
• 우울증 탐지 성능은 사용자 및 연도에 따라 크게 달라지며, 실생활 종단간 데이터에서 상당한 도메인 이동이 존재함을 시사한다.
• 기존의 우울증 탐지 알고리즘은 중간 정도의 성능를 보이지만, 다른 참가자나 시간대에서 테스트했을 때 일반화 능력이 제한되어 있다.
• 도메인 일반화 기법은 잠재력을 보이지만, 이 실생활 데이터셋에서 안정적인 교차 데이터셋 성능을 달성하기에는 아직 충분하지 않다.
• 데이터셋은 스마트폰 사용 패턴과 수면 패턴의 변화가 우울 증상과 관련이 있음을 보여주는 의미 있는 행동적 연관성을 드러낸다.
• 이 데이터셋의 가용성은 패닉 기간 동안 정신 건강, 차별, 학생 웰빙과 같은 주제로 다수의 동료 심사 통과 논문을 이미 생산하였다.