[論文レビュー] GLOBEM Dataset: Multi-Year Datasets for Longitudinal Human Behavior Modeling Generalization

Xuhai Xu, Han Zhang+14 more|arXiv (Cornell University)|Nov 4, 2022

Digital Mental Health Interventions被引用数 13

ひとこと要約

本論文は、497名の独自参加者から得られた705人年分のモバイルおよびウェアラブルセンサデータに加え、縦断的なウェルネス指標を併せ持つ、最初の複数年間の受動的センシングデータセットGLOBEMを紹介する。このデータセットは、行動モデリングアルゴリズムのクロスデータセット評価を可能にし、既存のうつ病検出モデルおよびドメイン一般化技術が有望であるが、ユーザーおよび時間軸にわたる頑健な一般化性を達成するにはさらなる改善が求められることを示している。

ABSTRACT

Recent research has demonstrated the capability of behavior signals captured by smartphones and wearables for longitudinal behavior modeling. However, there is a lack of a comprehensive public dataset that serves as an open testbed for fair comparison among algorithms. Moreover, prior studies mainly evaluate algorithms using data from a single population within a short period, without measuring the cross-dataset generalizability of these algorithms. We present the first multi-year passive sensing datasets, containing over 700 user-years and 497 unique users' data collected from mobile and wearable sensors, together with a wide range of well-being metrics. Our datasets can support multiple cross-dataset evaluations of behavior modeling algorithms' generalizability across different users and years. As a starting point, we provide the benchmark results of 18 algorithms on the task of depression detection. Our results indicate that both prior depression detection algorithms and domain generalization techniques show potential but need further research to achieve adequate cross-dataset generalizability. We envision our multi-year datasets can support the ML community in developing generalizable longitudinal behavior modeling algorithms.

研究の動機と目的

• 縦断的行動モデリングアルゴリズムのクロスデータセット一般化性を評価するための公開で包括的なデータセットの不足に対処すること。
• 異なるユーザーおよび時間帯において、行動モデリングアルゴリズムを公平に比較できる標準化されたオープンなテストベッドを提供すること。
• 実世界の複数年間のセンサデータおよび自己報告データを用いて、うつ病検出アルゴリズムのベンチマークを可能にすること。
• 自然的で現実世界の環境で収集された時系列データに対するドメイン一般化技術の研究を支援すること。
• 受動的センシングを用いた、頑健で実用可能な縦断的健康モニタリングシステムの開発を促進すること。

提案手法

• スマートフォンおよびウェアラブルデバイスを用いて、4年間（2018–2021年）にわたり継続的な受動的センサデータ（位置、電話使用状況、通話、Bluetooth、活動、睡眠）を収集する。
• モバイルアプリおよびウェアラブルデバイスを通じて参加者をエンゲージし、最小限のユーザー負担で24時間体制のバックグラウンドデータ収集を実現する。
• 精神的健康、ウェルネス、行動指標を測定する週次および半年に1度の自己報告アンケートを、センサデータと併用する。
• 機微なデータ（例：位置情報）を匿名化し、資格情報保護措置を講じ、個人識別が可能な情報の漏洩を防ぐために、特徴量レベルの表現のみを公開する。
• 複数の一般化ベンチマークをサポートするようにデータセットを構造化する：同じユーザーが複数年にわたる、異なるユーザーが複数年にわたる、および年ごとのモデル転送。
• 18の最先端のアルゴリズム（うち9つは既存のうつ病検出モデル、8つは最近のディープラーニング手法）を、二値のうつ病検出タスクに対して再実装および評価する。

実験結果

リサーチクエスチョン

• RQ1 既存のうつ病検出アルゴリズムは、実世界の縦断的センサデータにおいて、異なるユーザーおよび年次にわたってどの程度一般化可能であるか？
• RQ2 ドメイン一般化技術は、行動モデリングに用いる複数年間の受動的センシングデータに対して、どの程度効果を示すか？
• RQ3 モバイルおよびウェアラブルセンサを用いた縦断的行動モデリングにおいて、頑健なクロスデータセット一般化性を達成する際の主な課題は何か？
• RQ4 年次にわたるデータのスパarsityおよび欠損値は、モデルのパフォーマンスおよび一般化性にどのように影響するか？
• RQ5 GLOBEMデータセットは、うつ病検出を越えて、行動モデリングアルゴリズムの一般化性を評価するための信頼できるベンチマークとして機能できるか？

主な発見

• GLOBEMデータセットには、4年間にわたり一貫した自己報告と受動的センシングが得られた、497名の独自参加者からの705人年分のマルチモーダルセンサデータが含まれる。
• うつ病検出のパフォーマンスは、ユーザーおよび年次によって顕著に異なるため、実世界の縦断的データにおいて顕著なドメインシフトが生じていることが示唆される。
• 既存のうつ病検出アルゴリズムは中程度のパフォーマンスを示すが、異なる参加者や時間帯でテストした場合には一般化性が限定的である。
• ドメイン一般化技術は潜在的な効果を示しているが、実世界のこのデータセットにおいて頑健なクロスデータセット性能を達成するにはまだ不十分である。
• データセットは、うつ病症状と関連する行動的相関要因（例：スマートフォン使用状況や睡眠パターンの変化）を明らかにしている。
• このデータセットの公開により、パンデミック期におけるメンタルヘルス、差別の扱い、学生のウェルネスに関するトピックを含む、複数の査読付き論文がすでに発表された。