[논문 리뷰] Mixed Effects Random Forests for Personalised Predictions of Clinical Depression Severity

Robert A. Lewis, Asma Ghandeharioun외 4명|arXiv (Cornell University)|2023. 01. 24.

Mental Health Research Topics인용 수 8

한 줄 요약

이 논문은 혼합 효과 랜덤 포레스트(MERF)가 표준 랜덤 포레스트 및 개인 기준선에 비해 HDRS-17 우울 점수 예측을 개선할 수 있음을 보여주지만, 이득은 개인에 대한 라벨링된 학습 데이터가 있는 시나리오에서만 제한적이다.

ABSTRACT

This work demonstrates how mixed effects random forests enable accurate predictions of depression severity using multimodal physiological and digital activity data collected from an 8-week study involving 31 patients with major depressive disorder. We show that mixed effects random forests outperform standard random forests and personal average baselines when predicting clinical Hamilton Depression Rating Scale scores (HDRS_17). Compared to the latter baseline, accuracy is significantly improved for each patient by an average of 0.199-0.276 in terms of mean absolute error (p<0.05). This is noteworthy as these simple baselines frequently outperform machine learning methods in mental health prediction tasks. We suggest that this improved performance results from the ability of the mixed effects random forest to personalise model parameters to individuals in the dataset. However, we find that these improvements pertain exclusively to scenarios where labelled patient data are available to the model at training time. Investigating methods that improve accuracy when generalising to new patients is left as important future work.

연구 동기 및 목표

• 랜간호 longitudinal depression data의 이질성을 다루기 위해 혼합 효과 모델링을 랜덤 포레스트에 적용한다.
• HDRS-17 점수 예측에서 MERF가 표준 랜덤 포레스트 및 개인 기준선을 능가하는지 평가한다.
• 랜덤, 시간 분할, 및 사용자 분할 평가에서 시나리오별 성능과 로버스트성을 평가한다.

제안 방법

• 개별 환자별 무작위 절편과 고정 효과 랜덤 포레스트 f(X)을 가진 혼합 효과 랜덤 포레스트(MERF)를 적용하여 HDRS-17 점수를 예측한다.
• 모델: Y_i = f(X_i) + Z_i b_i + ε_i with b_i ~ N(0, D) and ε_i ~ N(0, σ^2 I).
• 일반화된 로그 가능도를 최대화하기 위한 기대값 최대화(EM) 절차를 사용하여 매개변수를 추정한다.
• EM을 이용해 f(X_i) 업데이트와 환자 특이적 무작위 효과 b_i 업데이트를 교대로 수행하고 수렴은 GLL로 모니터링한다.
• 그룹 수준 및 참가자 수준에서 평균 절대 오차(MAE)를 사용해 예측을 평가한다.

Figure 1: Mean absolute error (MAE) of testing set HDRS 17 prediction by evaluation scenario and model type. The MAE is reported here at the group-level : i.e., it is the average error across all observations in the testing set. The scenarios and models are described in Sections 4.2 & 4.3 , respecti

실험 결과

연구 질문

• RQ1 MERF가 표준 랜덤 포레스트 및 간단한 개인 기준선에 비해 HDRS-17 예측 정확도를 향상시키는가?
• RQ2 MERF가 무작위, 시간 기반 분할, 및 사용자 보류를 포함한 다양한 데이터 분할 방식에서 어떻게 성능을 보이는가?
• RQ3 개선은 주로 환자 특이적 무작위 효과 때문인가 아니면 숲이 학습한 공유 고정 효과 때문인가?
• RQ4 최악의 경우 오차로 측정한 참가자별 로버스트성은 MERF에서 유지되는가?

주요 결과

시나리오	시드 수	평균 개인 기준 오차	평균 MERF 오차	평균 사용자 상승	사용자 상승 p-값	WC 개인 기준 오차	WC MERF 오차
Random Split	10	3.349	3.165	0.199 ( ↑ )	0.000	8.167	7.933
Time Split	10	3.450	3.174	0.276 ( ↑ )	0.004	8.500	7.657
User Split	10	4.198	4.739	-0.541 ( ↓ )	n/a	11.000	12.417

• MERF는 Random Split 및 Time Split 시나리오에서 표준 랜덤 포레스트 및 개인 기준선보다 우수하다.
• 개인 기준선과 비교할 때 MERF는 Random Split에서 평균 MAE를 0.199, Time Split에서 0.276만큼 개선하였으며 p-값은 각각 0.000 및 0.004였다.
• User Split 시나리오에서 MERF는 기준선에 비해 상승을 제공하지 못하였고 표준 RF와 유사하게 작동할 수 있다.
• 참가자 수준 분석은 앞의 두 시나리오에서 퍼뮤테이션 테스트(p ≤ 0.05)로 의미 있는 사용자 향상을 보여준다.
• MERF는 Random Split과 Time Split에서 최악의 경우 오차에 대해 일부 로버스트성 향상을 보인다.
• 이 연구는 31명의 환자로부터 1,643일의 데이터를 사용했고 HDRS-17 예측을 위해 149개의 관찰치, 다모달 센서로부터 2,820개의 공학적 특징을 사용했다.

Figure 2: Extended results set including standard machine learning models as additional baseline comparisons. Mean absolute error (MAE) of testing set HDRS 17 prediction by evaluation scenario and model type. The MAE is reported here at the group-level : i.e., it is the average error across all obse