[논문 리뷰] Impact of predictor measurement heterogeneity across settings on performance of prediction models: a measurement error perspective

Kim Luijken, Rolf H. H. Groenwold외 3명|arXiv (Cornell University)|2018. 06. 27.

Health Systems, Economic Evaluations, Quality of Life참고 문헌 15인용 수 3

한 줄 요약

이 연구는 유도 및 검증 설정 간 예측자 측정 방법의 차이가 임상 예측 모델 성능에 미치는 영향을 조사한다. 측정 오차 모델을 사용하여, 다양한 시험 제조사 또는 절단값과 같은 측정 프로토콜의 이질성이 잘못 校정, 분류 능력 저하 및 예측 정확도 감소를 유도할 수 있음을 보여주며, 이는 모델의 이식 가능성과 임상적 유용성을 떨어뜨린다.

ABSTRACT

It is widely acknowledged that the predictive performance of clinical prediction models should be studied in patients that were not part of the data in which the model was derived. Out-of-sample performance can be hampered when predictors are measured differently at derivation and external validation. This may occur, for instance, when predictors are measured using different measurement protocols or when tests are produced by different manufacturers. Although such heterogeneity in predictor measurement between deriviation and validation data is common, the impact on the out-of-sample performance is not well studied. Using analytical and simulation approaches, we examined out-of-sample performance of prediction models under various scenarios of heterogeneous predictor measurement. These scenarios were defined and clarified using an established taxonomy of measurement error models. The results of our simulations indicate that predictor measurement heterogeneity can induce miscalibration of prediction and affects discrimination and overall predictive accuracy, to extents that the prediction model may no longer be considered clinically useful. The measurement error taxonomy was found to be helpful in identifying and predicting effects of heterogeneous predictor measurements between settings of prediction model derivation and validation. Our work indicates that homogeneity of measurement strategies across settings is of paramount importance in prediction research.

연구 동기 및 목표

• 유도 및 검증 설정 간 예측자 측정의 이질성이 예측 모델 성능에 미치는 영향을 조사하기 위해.
• 다른 시험 제조사 또는 절단값과 같은 측정 프로토콜의 차이가 校정, 분류 능력 및 총합 정확도에 어떻게 영향을 미치는지 규명하기 위해.
• 측정 오차 모델이 이러한 이질성의 영향을 체계적으로 분류하고 예측할 수 있는지 평가하기 위해.
• 모델의 이식 가능성과 임상적 유용성을 보장하기 위해 일관된 측정 전략의 중요성을 강조하기 위해.
• 신뢰할 수 있는 외부 검증을 지원하기 위해 유도 및 검증 연구에서 측정 절차를 투명하게 보고할 것을 촉구하기 위해.

제안 방법

• 측정 오차 모델의 분류 체계(예: 고전적, 버크슨, 혼합 모델 등)를 활용하여 측정 이질성의 사례를 정의하고 분류하기 위해.
• 로지스틱 회귀 모델에서 회귀 계수와 선형 예측자 분산에 대한 측정 오차의 영향을 분석적 유도를 통해 분석하기 위해.
• 유도 데이터 내의 측정 오차와 설정 간 측정 이질성의 영향을 비교하기 위해 대규모 표본 시뮬레이션을 수행하기 위해.
• 유한 표본에서의 광범위한 몬테카를로 시뮬레이션을 통해 다양한 수준의 측정 이질성 하에서 외부 표본 성능을 평가하기 위해.
• 핵심 성능 지표인 校정, 분류 능력(C-statistic), 브리어 점수 등을 다양한 측정 오차 구조 하에서 평가하기 위해.
• 측정 오차 보정 및 잔차 내상관계상수(RICC)를 활용한 이질성 정량화의 가능성 탐색을 수행하였지만, 실제 적용 가능성에 제한이 있음을 언급하였다.

실험 결과

연구 질문

• RQ1 유도 및 검증 설정 간 예측자 측정의 이질성이 임상 예측 모델의 校정, 분류 능력 및 총합 예측 정확도에 어떻게 영향을 미치는가?
• RQ2 측정 오차 모델이 이질적인 측정 절차가 외부 표본 성능에 미치는 영향을 얼마나 잘 예측할 수 있는가?
• RQ3 모델 과적합, 인구 차이 등의 다른 요인들과 비교해 측정 이질성이 모델 성능 저하에 기여하는 비율은 어느 정도인가?
• RQ4 다른 측정 프로토콜(예: 다양한 시험 제조사 또는 자가 보고 대비 객관적 측정)의 사용이 모델의 이식 가능성에 어떻게 영향을 미치는가?
• RQ5 저측정 오차를 가진 정기적 수집 또는 임상 시험 기반 데이터셋을 사용할 경우, 고정밀도 측정 데이터에서 유도된 모델의 외부 검증에 어떤 영향을 미치는가?

주요 결과

• 유도 및 검증 설정 간 예측자 측정의 이질성은 심각한 잘못 校정을 유도할 수 있으며, 이는 외부 검증에서 예측 확률의 신뢰성 저하를 초래한다.
• 이질적인 측정 절차는 분류 능력(C-statistic)과 총합 예측 정확도(Brier 점수)에 부정적 영향을 미치며, 이는 모델의 임상적 사용 불가능성을 초래할 수 있다.
• 측정 오차 분류 체계는 측정 이질성으로 인한 성능 저하의 성격과 정도를 효과적으로 식별하고 예측할 수 있다.
• 고정밀도 측정(예: 실험실 검사)에서 유도된 모델는 측정 정밀도가 낮은 실생활 설정에서는 잘못 校정로 인해 성능이 떨어질 수 있다.
• 측정 오차가 최소한인 데이터셋(예: 임상 시험 데이터)을 사용해 검증할 경우, 성능 추정치가 지나치게 낙관적으로 나타나, 校정 문제를 가리킬 수 있다.
• 유도 및 검증 간 일관된 측정 전략이 모델의 신뢰할 수 있는 이식 가능성에 필수적이며, 측정 절차의 투명한 보고는 타당한 외부 검증을 위해 필수적이다.