[논문 리뷰] Propensity score prediction for electronic healthcare databases using Super Learner and High-dimensional Propensity Score Methods

Cheng Ju, Mary Combs외 5명|arXiv (Cornell University)|2017. 03. 07.

Advanced Causal Inference Techniques참고 문헌 14인용 수 7

한 줄 요약

이 연구는 대규모 전자 의료 데이터베이스에서 치료 배정을 예측하기 위해 슈퍼 러너(Super Learner, SL)와 새로운 SL-고차원 성향 스코어(hdPS) 하이브리드 방법을 평가한다. 세 개의 실제 클레임 데이터셋을 사용하여, SL이 모델을 적응적으로 조합함으로써 개별 알고리즘보다 성능이 뛰어나며, SL과 hdPS를 조합하면 예측 성능이 일관되게 향상됨을 입증한다. 이는 약물 epidemiology 분야에서 성향 스코어 추정에 있어 강력하고 데이터 적응적인 접근법을 제공한다.

ABSTRACT

The optimal learner for prediction modeling varies depending on the underlying data-generating distribution. Super Learner (SL) is a generic ensemble learning algorithm that uses cross-validation to select among a "library" of candidate prediction models. The SL is not restricted to a single prediction model, but uses the strengths of a variety of learning algorithms to adapt to different databases. While the SL has been shown to perform well in a number of settings, it has not been thoroughly evaluated in large electronic healthcare databases that are common in pharmacoepidemiology and comparative effectiveness research. In this study, we applied and evaluated the performance of the SL in its ability to predict treatment assignment using three electronic healthcare databases. We considered a library of algorithms that consisted of both nonparametric and parametric models. We also considered a novel strategy for prediction modeling that combines the SL with the high-dimensional propensity score (hdPS) variable selection algorithm. Predictive performance was assessed using three metrics: the negative log-likelihood, area under the curve (AUC), and time complexity. Results showed that the best individual algorithm, in terms of predictive performance, varied across datasets. The SL was able to adapt to the given dataset and optimize predictive performance relative to any individual learner. Combining the SL with the hdPS was the most consistent prediction method and may be promising for PS estimation and prediction modeling in electronic healthcare databases.

연구 동기 및 목표

• 대규모 전자 의료 데이터베이스 내에서 치료 배정을 예측하는 데 있어 슈퍼 러너(SL)의 성능을 평가하는 것.
• 고차원 성향 스코어(hdPS) 변수 선택 방법과 SL을 조합함으로써 예측 성능을 향상시킬 수 있는지 평가하는 것.
• 예측 정확도, AUC, 계산 효율성 측면에서 SL을 개별 기계학습 및 파rametric 모델과 비교하는 것.
• 데이터 적응형 앙상블 학습이 복잡한 고차원 클레임 데이터에서 모델 잘못 지정 문제를 극복하고 강건성을 향상시킬 수 있는지 조사하는 것.

제안 방법

• 슈퍼 러너(SL)는 교차검증을 통해 지정된 손실 함수를 최소화하도록 다수의 후보 예측 모델을 조합하는 앙상블 학습 알고리즘이다.
• 후보 알고리즘 라이브러리는 파라미터 모델(예: 로지스틱 회귀)과 비모수적 방법(예: 기울기 부스팅, 랜덤 포레스트, 라소)을 포함한다.
• 고차원 성향 스코어(hdPS) 방법은 고차원 보험 클레임 코드에서 정보가 풍부한 클레임 기반 공변량을 감소시킨다.
• SL은 원시 공변량에 직접 적용되며, hdPS에 의해 생성된 변수를 통합한 후에도 적용하여 성능 향상을 평가한다.
• 모델 성능 평가에 세 가지 지표를 사용한다: 음의 로그우도, ROC 곡선 아래 면적(AUC), 시간 복잡도.
• hdPS의 로지스틱 회귀 단계에 정규화(LASSO)를 적용하여 과적합을 줄이며, 특히 작은 데이터셋에서 효과가 크다.

실험 결과

연구 질문

• RQ1 전자 의료 데이터베이스에서 치료 배정 예측에 있어 슈퍼 러너가 개별 예측 모델보다 예측 정확도에서 뛰어나게 되는가?
• RQ2 슈퍼 러너를 고차원 성향 스코어(hdPS) 방법과 조합하면, 개별적으로 사용할 경우보다 예측 성능이 향상되는가?
• RQ3 다양한 데이터 구조와 크기를 가진 다양한 의료 데이터베이스에서 SL의 예측 성능는 어떻게 변화하는가?
• RQ4 정규화가 hdPS 기반 예측 모델에 미치는 영향은 무엇인가, 특히 과적합을 줄이는 데서 어떤가?
• RQ5 SL의 데이터 적응적 성격이 복잡하고 고차원적인 클레임 데이터를 모델링할 때 강건성을 어떻게 향상시키는가?

주요 결과

• 모든 세 개의 의료 데이터베이스에서 음의 로그우도와 AUC 측정 기준으로 슈퍼 러너 알고리즘이 개별 모델 중 어느 하나보다도 일관되게 뛰어난 예측 성능을 보였다.
• 슈퍼 러너와 고차원 성향 스코어(hdPS) 변수를 조합한 결과, 특히 AUC를 최대화하는 데서 가장 일관되고 높은 예측 성능를 기록했다.
• 모든 데이터셋에서 기울기 부스팅과 hdPS가 SL 앙상블에서 가장 높은 가중치를 확보하여 예측에서 주도적인 역할을 했다.
• hdPS 단계에서 정규화(LASSO)를 적용함으로써 약간의 성능 향상이 있었으며, 이는 특히 작은 데이터셋에서 유의미한 이점이 있음을 시사하지만, 현재의 대용량 데이터 설정에서는 성과 향상이 미미했다.
• SL은 강력한 데이터 적응적 성질을 보였으며, 기반 데이터 구조에 따라 가장 효과적인 알고리즘의 가중치를 조정함으로써 강건성을 향상시켰다.
• 이 연구는 SL이 점차적으로 최적임을 확인하였으며, 정확한 파라미터 모델이 없더라도 라이브러리 내 최고의 모델과 최소한 동등한 성능을 보인다.