[论文解读] Mixed Effects Random Forests for Personalised Predictions of Clinical Depression Severity

Robert A. Lewis, Asma Ghandeharioun+4 more|arXiv (Cornell University)|Jan 24, 2023

Mental Health Research Topics被引用 8

一句话总结

该论文表明在对抑郁症患者的多模态纵向数据进行训练时，混合效应随机森林（MERF）可以在预测 HDRS-17 抑郁评分方面优于标准随机森林和个人基线，尽管增益仅在对个体有标注训练数据的情景中体现。

ABSTRACT

This work demonstrates how mixed effects random forests enable accurate predictions of depression severity using multimodal physiological and digital activity data collected from an 8-week study involving 31 patients with major depressive disorder. We show that mixed effects random forests outperform standard random forests and personal average baselines when predicting clinical Hamilton Depression Rating Scale scores (HDRS_17). Compared to the latter baseline, accuracy is significantly improved for each patient by an average of 0.199-0.276 in terms of mean absolute error (p<0.05). This is noteworthy as these simple baselines frequently outperform machine learning methods in mental health prediction tasks. We suggest that this improved performance results from the ability of the mixed effects random forest to personalise model parameters to individuals in the dataset. However, we find that these improvements pertain exclusively to scenarios where labelled patient data are available to the model at training time. Investigating methods that improve accuracy when generalising to new patients is left as important future work.

研究动机与目标

• 通过对随机森林应用混合效应建模来解决纵向抑郁数据的异质性。
• 评估 MERF 是否优于标准随机森林和个人基线在预测 HDRS-17 分数方面的表现。
• 评估在不同情景下的性能与鲁棒性，涵盖随机、时间分割和用户分割评估。

提出的方法

• 对每个患者设定随机截距的混合效应随机森林（MERF）与固定效应随机森林 f(X) 共同预测 HDRS-17 分数。
• 模型：Y_i = f(X_i) + Z_i b_i + ε_i，其中 b_i ~ N(0, D) 且 ε_i ~ N(0, σ^2 I)。
• 使用期望最大化（EM）程序估计参数以最大化广义对数似然。
• 使用EM在更新 f(X_i) 与患者特异的随机效应 b_i 之间交替，并通过 GLL 监控收敛性。
• 在组别与参与者层面对预测进行评估，采用平均绝对误差（MAE）。

Figure 1: Mean absolute error (MAE) of testing set HDRS 17 prediction by evaluation scenario and model type. The MAE is reported here at the group-level : i.e., it is the average error across all observations in the testing set. The scenarios and models are described in Sections 4.2 & 4.3 , respecti

实验结果

研究问题

• RQ1 MERF 是否在预测 HDRS-17 方面优于标准随机森林和简单个人基线？
• RQ2 在不同的数据划分方案（随机、时间分割、用户保留）下 MERF 的表现如何？
• RQ3 提升是否主要来自患者特异的随机效应，还是由森林学习到的共享固定效应？
• RQ4 MERF 是否能在参与者层面保持鲁棒性，以最坏情况误差来衡量？

主要发现

情景	种子数量 N	平均个人基线误差	平均 MERF 误差	平均用户提升	用户提升 p 值	最坏情况个人基线误差	最坏情况 MERF 误差
Random Split	10	3.349	3.165	0.199 ( ↑ )	0.000	8.167	7.933
Time Split	10	3.450	3.174	0.276 ( ↑ )	0.004	8.500	7.657
User Split	10	4.198	4.739	-0.541 ( ↓ )	n/a	11.000	12.417

• MERF 在随机划分和时间划分情景下优于标准随机森林和个人基线。
• 与个人基线相比，MERF 在随机划分和时间划分中的平均 MAE 提升分别为 0.199 和 0.276，p 值分别为 0.000 与 0.004。
• 在用户划分情景中，MERF 未对基线带来提升，表现与标准 RF 相近。
• 参与者层面的分析在前两个情景中显示显著的用户提升（置换检验，p ≤ 0.05），表明对每个患者的改进。
• MERF 在随机划分和时间划分下对最坏情况误差有温和的改善，体现了一定的鲁棒性提升。
• 研究使用来自 31 名患者的 1643 天数据，其中 149 个观测用于 HDRS-17 预测，来自多模态传感器的特征共 2820 个。

Figure 2: Extended results set including standard machine learning models as additional baseline comparisons. Mean absolute error (MAE) of testing set HDRS 17 prediction by evaluation scenario and model type. The MAE is reported here at the group-level : i.e., it is the average error across all obse