[논문 리뷰] Predicting Individualized Effects of Internet-Based Treatment for Genito-Pelvic Pain/Penetration Disorder: Development and Internal Validation of a Multivariable Decision Tree Model

Anna‐Carlotta Zarski, Mathias Harrer외 4명|arXiv (Cornell University)|2023. 03. 15.

Suicide and Self-Harm Studies인용 수 4

한 줄 요약

이 연구는 성소역통증/침입장애(Genito-Pelvic Pain/Penetration Disorder, GPPPD)에 대한 인터넷 기반 치료의 개인화된 치료 효과를 예측하기 위해 다변량 의사결정나무 모델을 개발하고 내부적으로 검증하였다. 모델은 연합 부부 대처를 핵심 예측변수로 규명하였으며, 기초 시점에 높은 부부 대처 수준을 보인 환자는 큰 치료 효과를 보였다(Cohen’s d = 1.00), 반면 낮은 대처 수준을 보인 환자는 유의미한 혜택을 보이지 않았다(d = 0.12). 이는 타겟 치료 배정을 위한 핵심 하위군을 강조한다.

ABSTRACT

Genito-Pelvic Pain/Penetration-Disorder (GPPPD) is a common disorder but rarely treated in routine care. Previous research documents that GPPPD symptoms can be treated effectively using internet-based psychological interventions. However, non-response remains common for all state-of-the-art treatments and it is unclear which patient groups are expected to benefit most from an internet-based intervention. Multivariable prediction models are increasingly used to identify predictors of heterogeneous treatment effects, and to allocate treatments with the greatest expected benefits. In this study, we developed and internally validated a multivariable decision tree model that predicts effects of an internet-based treatment on a multidimensional composite score of GPPPD symptoms. Data of a randomized controlled trial comparing the internet-based intervention to a waitlist control group (N =200) was used to develop a decision tree model using model-based recursive partitioning. Model performance was assessed by examining the apparent and bootstrap bias-corrected performance. The final pruned decision tree consisted of one splitting variable, joint dyadic coping, based on which two response clusters emerged. No effect was found for patients with low dyadic coping ($n$=33; $d$=0.12; 95% CI: -0.57-0.80), while large effects ($d$=1.00; 95%CI: 0.68-1.32; $n$=167) are predicted for those with high dyadic coping at baseline. The bootstrap-bias-corrected performance of the model was $R^2$=27.74% (RMSE=13.22).

연구 동기 및 목표

• 인터넷 기반 치료에서의 비응답률이 높은 문제를 해결하기 위해 치료에 가장 유리한 환자 하위군을 규명하기 위해.
• 기초 환자 특성들을 고려하여 GPPPD에서의 이질적인 치료 효과를 반영하는 다변량 예측 모델을 개발하기 위해.
• 개별 예측변수를 바탕으로 개인화된 치료 배정을 가능하게 하여 임상적 의사결정을 향상시키기 위해.
• 과적합을 보정하기 위해 리샘플링 기법을 사용하여 모델의 예측 성능을 내부적으로 검증하기 위해.
• 임상 적용을 위한 향후 외부 검증을 위해 독립된 시험에서의 검증을 안내하기 위해.

제안 방법

• 랜덤화 대조 시험(RCT) 데이터셋(N=200)을 기반으로 인터넷 기반 치료와 대기군 대조군을 비교하여 모델 기반 재귀적 분할(모델 기반 트리)을 사용하여 의사결정나무를 구축하였다.
• 결과는 기초 및 치료 후에 평가된 다차원 복합 점수로, GPPPD 증상의 집합적 평가를 포함하였다.
• 가장 영향력 있는 예측변수를 규명하기 위해 순열 기반 랜덤 포레스트 분 析를 통해 변수 중요도를 평가하였다.
• 일반화 능력 향상과 과적합 감소를 위해 최종 모델을 잘라내었으며, R² 및 평균 제곱근 오차(RMSE)를 사용하여 성능을 평가하였다.
• 모델의 진정된 예측 성능을 추정하기 위해 부트스트랩 편향 보정을 적용하였다.
• 리샘플링을 사용하여 모델의 안정성과 하위군 내 치료 효과 예측의 정확도를 평가함으로써 내부적으로 모델를 검증하였다.

Figure 1: Density plot of the aggregated outcome

실험 결과

연구 질문

• RQ1 기초 시점의 어떤 환자 특성이 인터넷 기반 GPPPD 치료에서 유의미한 개인화된 혜택을 예측할 수 있는가?
• RQ2 연합 부부 대처가 인터넷 기반 치료를 받는 GPPPD 환자에서 치료 결과를 유의미하게 조절하는가?
• RQ3 부트스트랩 리샘플링을 사용한 편향 보정 후 의사결정나무 모델의 예측 성능는 어떻게 유지되는가?
• RQ4 기초 특성에 따라 뚜렷한 다른 치료 반응 패턴을 보이는 GPPPD 환자 하위군이 존재하는가?
• RQ5 다변량 의사결정나무 모델이 인터넷 기반 치료에 유의미한 혜택을 볼 수 없는 환자를 효과적으로 식별할 수 있는가?

주요 결과

• 기초 시점에 높은 연합 부부 대처 수준을 보인 환자는 큰 치료 효과를 보였다(Cohen’s d = 1.00; 95% CI: 0.68–1.32), 이는 증상 감소가 뚜렷하다는 것을 의미한다.
• 기초 시점에 낮은 연합 부부 대처 수준을 보인 환자는 유의미한 치료 효과를 보이지 않았다(Cohen’s d = 0.12; 95% CI: -0.57 to 0.80), 이는 간섭 치료에 의해 최소한의 혜택을 받는다는 것을 의미한다.
• 의사결정나무 모델은 연합 부부 대처 수준을 유일한 유의미한 분할 변수로 규명하였으며, 18개 항목 척도에서 임계값 13을 설정하였다.
• 부트스트랩 편향 보정 후 모델은 치료 결과의 변동성의 27.74%를 설명하였다(R² = 27.74%), 평균 제곱근 오차(RMSE)는 13.22였다.
• 모델의 성능은 안정적이었으며, 고대처 하위군에서는 높은 예측 정확도를 보였다(R² = 30.36% 제3 종단 노드), 반면 저대처 하위군에서는 낮은 성능을 보였다(R² = 1.83% 제2 노드).
• 변수 중요도 분석은 연합 부부 대처 수준이 가장 영향력 있는 예측변수임을 확인하였으며, 중요도 점수는 1.0 초과였다. 반면 자존감 및 통증 간섭과 같은 다른 변수들은 중요도가 낮아 제외되었다.

Figure 2: Decision tree model; based on imputed data.