[논문 리뷰] The Discordance of Individual Risk Estimates and the Reference Class Problem

Ralph H. Stern|arXiv (Cornell University)|2010. 01. 14.

Health Systems, Economic Evaluations, Quality of Life참고 문헌 10인용 수 6

한 줄 요약

이 논문은 임상 위험 예측에서 기준 집단 문제를 다루며, 개인이 상충되는 위험 추정치를 가진 여러 위험 집단에 동시에 속할 수 있어 타당한 예측 모델 간에 상당한 불일치를 초래할 수 있음을 보여준다. 단일 '진짜' 개인 위험 값이 존재한다는 믿음은 잘못된 것으로 보고, 메타적 방법론적 불일치로 인해 고립된 위험 추정치에 의존하는 것은 임상적 결정 내림에 경계해야 한다고 경고한다.

ABSTRACT

Multivariate methods that relate outcomes to risk factors have been adopted clinically to individualize treatment. This has promoted the belief that individuals have a true or unique risk. The logic of assigning an individual a single risk value has been criticized since 1866. The reason is that any individual can be simultaneously considered a member of different groups, with each group having its own risk level (the reference class problem). Lemeshow et al. provided well-documented examples of remarkable discordance between predictions for an individual by different valid predictive methods utilizing different risk factors. The prevalence of such discordance is unknown as it is rarely evaluated, but must be substantial due to the abundance of risk factors. Lemeshow et al. cautioned against using ICU mortality predictions for the provision of care to individual patients. If individual risk estimates are used clinically, users should be aware that valid methods may give very different results.

연구 동기 및 목표

• 기준 집단 문제의 이론적 및 실용적 영향을 조사하기 위해.
• 다른 위험 요소를 사용하는 타당한 예측 모델이 동일한 개인에 대해 상당한 불일치를 보이는 위험 추정치를 산출할 수 있음을 보여주기 위해.
• 개인에게 단일 고유의 위험 값이 부여될 수 있다는 임상적 가정을 도전하기 위해.
• 의료 제공자들이 환자 치료 결정에 고립된 위험 예측을 사용하는 것에 대해 경고하기 위해.
• 위험 예측 모델의 방법론적 변동성에 대한 인식의 필요성을 강조하기 위해.

제안 방법

• 특히 중환자실 생존율 예측에 초점을 맞춰 임상 환경에서의 역사적 및 현대적 위험 예측 모델의 사례를 분석한다.
• 개인이 여러 겹치는 집단에 속해 있으며, 각 집단은 다른 위험 수준을 가진다는 기준 집단 문제를 검토한다.
• Lemeshow 등이 제시한 실증적 증거를 검토하여, 서로 다른 타당한 모델 간에 예측치의 상당한 불일치를 확인한다.
• 논리적 및 통계적 추론을 통해 동일한 개인에게 여러 타당한 위험 추정치가 동시에 존재할 수 있음을 보여준다.
• 다양한 방법론적 타당성에도 불구하고, 어떤 위험 추정치를 사용할 것인지에 대한 합의가 없다는 점을 강조한다.
• 위험 추정은 모델 간의 본질적 불확실성과 변동성을 인정함으로써 맥락화되어야 한다고 제안한다.

실험 결과

연구 질문

• RQ1 왜 다른 타당한 예측 모델이 동일한 개인에 대해 상당히 다른 위험 추정치를 산출하는가?
• RQ2 기준 집단 문제가 개인 위험 예측의 근본적 제약으로서 어느 정도의 정도로 작용하는가?
• RQ3 여러 타당한 위험 추정치의 존재가 임상적 결정에 어떤 영향을 미치는가?
• RQ4 불일치하는 위험 예측이 환자 간호 및 치료 계획에 어떤 영향을 미치는가?
• RQ5 단일 '진짜' 개인 위험 값이 존재한다는 믿음이 왜 논리적으로 잘못된가?

주요 결과

• 기준 집단 문제로 인해 개인이 동시에 여러 위험 집단에 속하기 때문에, 단일 위험 값을 부여하는 데 본질적인 모호성이 존재한다.
• 다른 위험 요소를 사용하는 타당한 예측 모델이 동일한 환자에 대해 뚜렷한 불일치를 보이는 위험 추정치를 산출할 수 있으며, 이는 Lemeshow 등에 의해 입증되었다.
• 다양한 잠재적 위험 요소와 모델 변형의 존재로 인해 이러한 불일치의 빈도는 상당히 높다.
• 메타적 타당성에도 불구하고, 동일한 개인에 대해 여러 위험 추정치가 존재함으로써 개인화된 위험 예측의 신뢰성이 떨어진다.
• 모델 간의 상당한 변동성 가능성이 있기 때문에, 개인 위험 추정치의 임상적 활용은 주의 깊이 접근되어야 한다.
• 논문은 단일 고유의 진짜 개인 위험 값이라는 가정이 논리적으로 일관되지 않으며, 경험적으로도 지지되지 않는다고 결론 내린다.