[論文レビュー] Mixed Effects Random Forests for Personalised Predictions of Clinical Depression Severity

Robert A. Lewis, Asma Ghandeharioun+4 more|arXiv (Cornell University)|Jan 24, 2023

Mental Health Research Topics被引用数 8

ひとこと要約

混合効果ランダム森林（MERF）は、標準のランダム森林と個人ベースラインに対して、主要うつ病障害患者の多 modality 縦断データで学習した場合、HDRS-17うつ病スコア予測を改善できることを示す。ただし、個人ごとのラベル付きトレーニングデータがあるシナリオに限定的な利得である。

ABSTRACT

This work demonstrates how mixed effects random forests enable accurate predictions of depression severity using multimodal physiological and digital activity data collected from an 8-week study involving 31 patients with major depressive disorder. We show that mixed effects random forests outperform standard random forests and personal average baselines when predicting clinical Hamilton Depression Rating Scale scores (HDRS_17). Compared to the latter baseline, accuracy is significantly improved for each patient by an average of 0.199-0.276 in terms of mean absolute error (p<0.05). This is noteworthy as these simple baselines frequently outperform machine learning methods in mental health prediction tasks. We suggest that this improved performance results from the ability of the mixed effects random forest to personalise model parameters to individuals in the dataset. However, we find that these improvements pertain exclusively to scenarios where labelled patient data are available to the model at training time. Investigating methods that improve accuracy when generalising to new patients is left as important future work.

研究の動機と目的

• 縦断うつ病データの異質性を混合効果モデリングをランダムフォレストに適用して解消する。
• MERFが標準のランダムフォレストおよび個人ベースラインよりHDRS-17スコア予測で優れているか評価する。
• ランダム、時間分割、ユーザー分割の評価におけるシナリオ特有の性能と頑健性を評価する。

提案手法

• 各患者ごとにランダムインターセプトを持つ混合効果ランダムフォレスト（MERF）を適用し、HDRS-17スコアを予測する。
• モデル: Y_i = f(X_i) + Z_i b_i + ε_i に対して、b_i ~ N(0, D) および ε_i ~ N(0, σ^2 I)。
• 一般化対数尤度を最大化するように Expectation-Maximisation（EM）手順でパラメータを推定する。
• EMを用いて f(X_i) と個人固有のランダム効果 b_i の更新を交互に行い、収束はGLLで監視する。
• 平均絶対誤差（MAE）でグループレベルと参加者レベルの予測を評価する。

Figure 1: Mean absolute error (MAE) of testing set HDRS 17 prediction by evaluation scenario and model type. The MAE is reported here at the group-level : i.e., it is the average error across all observations in the testing set. The scenarios and models are described in Sections 4.2 & 4.3 , respecti

実験結果

リサーチクエスチョン

• RQ1 MERFは標準のランダムフォレストおよび単純な個人ベースラインよりHDRS-17予測精度を改善するか？
• RQ2 異なるデータ分割方式（ランダム、時間ベース、ユーザーホールドアウト）でMERFはどのように機能するか？
• RQ3 改善は主に患者固有のランダム効果によるものか、それともフォレストが学習する共有固定効果によるものか？
• RQ4 Worst-case誤差で参加者間の頑健性を維持できるか？

主な発見

シナリオ	N Seeds	Avg PBL Err	Avg MERF Err	Avg User Lift	User Lift p-value	WC PBL Err	WC MERF Err
Random Split	10	3.349	3.165	0.199 ( ↑ )	0.000	8.167	7.933
Time Split	10	3.450	3.174	0.276 ( ↑ )	0.004	8.500	7.657
User Split	10	4.198	4.739	-0.541 ( ↓ )	n/a	11.000	12.417

• MERFはRandom SplitおよびTime Splitのシナリオで標準のランダムフォレストおよび個人ベースラインを上回る。
• 個人ベースラインと比較して、MERFはRandom SplitでMAEを平均0.199、Time Splitで0.276改善（p値はそれぞれ0.000および0.004）。
• User SplitのシナリオではMERFはベースラインを上回らず、標準RFと同等程度の性能となる。
• 参加者レベルの分析では、最初の二つのシナリオで顕著なユーザーリフト（置換検定、p ≤ 0.05）を示し、個別患者の改善を示唆。
• MERFはRandom SplitおよびTime SplitでWorst-case誤差の modest な改善を示し、頑健性の向上を示唆。
• 本研究は31人の患者から1,643日分のデータを使用し、HDRS-17予測には149観測、マルチモーダルセンサーからの2,820個のエンジニアリング特徴量を用いた。

Figure 2: Extended results set including standard machine learning models as additional baseline comparisons. Mean absolute error (MAE) of testing set HDRS 17 prediction by evaluation scenario and model type. The MAE is reported here at the group-level : i.e., it is the average error across all obse