[논문 리뷰] An Evaluation Toolkit to Guide Model Selection and Cohort Definition in Causal Inference

Yishai Shimoni, Ehud Karavani외 6명|arXiv (Cornell University)|2019. 06. 02.

Advanced Causal Inference Techniques참고 문헌 33인용 수 23

한 줄 요약

이 논문은 실생활 의료 데이터에서 인과적 추론을 위한 종합적이고 파이썬 기반의 평가 툴킷을 소개한다. 표준 기계학습 메트릭스에 인과적 특화 진단 기능인 성향 스코어 校정, 공변량 균형, 양성도 검사 등을 추가하여, 실제 데이터를 기반으로 반복적인 모델 및 코hort 선택을 가능하게 한다. 이는 훈련, 검증, 테스트 분할에 걸쳐 체계적인 평가를 통해 인과 효과 추정의 신뢰성과 재현 가능성을 향상시키며, 특히 개인 맞춤 의료 분야에서 두드러진다.

ABSTRACT

Real world observational data, together with causal inference, allow the estimation of causal effects when randomized controlled trials are not available. To be accepted into practice, such predictive models must be validated for the dataset at hand, and thus require a comprehensive evaluation toolkit, as introduced here. Since effect estimation cannot be evaluated directly, we turn to evaluating the various observable properties of causal inference, namely the observed outcome and treatment assignment. We developed a toolkit that expands established machine learning evaluation methods and adds several causal-specific ones. Evaluations can be applied in cross-validation, in a train-test scheme, or on the training data. Multiple causal inference methods are implemented within the toolkit in a way that allows modular use of the underlying machine learning models. Thus, the toolkit is agnostic to the machine learning model that is used. We showcase our approach using a rheumatoid arthritis cohort (consisting of about 120K patients) extracted from the IBM MarketScan(R) Research Database. We introduce an iterative pipeline of data definition, model definition, and model evaluation. Using this pipeline, we demonstrate how each of the evaluation components helps drive model selection and refinement of data extraction criteria in a way that provides more reproducible results and ensures that the causal question is answerable with available data. Furthermore, we show how the evaluation toolkit can be used to ensure that performance is maintained when applied to subsets of the data, thus allowing exploration of questions that move towards personalized medicine.

연구 동기 및 목표

• 실생활 관찰적 의료 데이터에서 인과적 추론 모델에 대한 체계적인 평가 도구 부족 문제를 해결하기 위해.
• 표준 기계학습 메트릭스와 인과적 특화 진단 기능을 모두 지원하는 모듈러하고 확장 가능한 평가 프레임워크를 제공하기 위해.
• 훈련, 검증, 테스트 데이터에서의 성능 평가를 통해 데이터 추출 기준과 모델 선택의 반복적 개선을 이끌기 위해.
• 편향 탐지 및 데이터 서브셋 간의 견고성 확보를 통해 개인 맞춤 의료에 대한 모델 신뢰성과 일반화 능력을 향상시키기 위해.
• 무시 가능성, 양성도, 공변량 균형 등의 가정을 검증하여 신뢰할 수 있는 인과 추론을 지원하기 위해.

제안 방법

• 표준 기계학습 평가 방법에 성향 스코어 校정, 공변량 균형, 양성도 평가 등 인과적 특화 메트릭스를 추가한다.
• 모델 성능 및 일반화 능력을 평가하기 위해 교차 검증, 훈련-테스트 분할, 또는 훈련 데이터에서 평가를 적용한다.
• 이중으로 강건한, 가중치 기반, 매칭 기반 등의 다양한 인과적 추론 방법을 구현하며, 기반 기계학습 모델을 모듈러하게 통합한다.
• 데이터 정의, 모델 정의, 반복적 평가의 파이프라인을 통해 코hort 선택 및 모델 선택을 개선한다.
• 초기 방법 선별을 위해 합성 기반 벤치마크를 사용하지만, 합성 패턴에 과적합되는 것을 방지하기 위해 실데이터 평가에 중점을 둔다.
• 과적합, 나쁜 校정, 불균형 등의 문제를 탐지하기 위해 평가 결과를 시각화하여 모델 및 데이터 개선을 안내한다.

실험 결과

연구 질문

• RQ1 실생활 데이터에서 인과 효과가 관측 불가능한 상황에서 어떻게 인과적 추론 모델을 체계적으로 평가할 수 있는가?
• RQ2 관찰적 의료 연구에서 모델의 신뢰성과 타당성을 확보하기 위해 가장 유용한 평가 메트릭스는 무엇인가?
• RQ3 반복적인 모델 및 코hort 개선은 인과적 추론 결과의 견고성과 일반화 능력을 어떻게 향상시킬 수 있는가?
• RQ4 어떤 방식으로 평가 메트릭스가 양성도 및 무시 가능성과 같은 핵심 인과적 가정 위반을 탐지할 수 있는가?
• RQ5 개인 수준의 치료 효과가 관측 불가능한 상황에서 이 툴킷은 어떻게 개인 맞춤 의료를 위한 신뢰할 수 있는 모델 개발을 지원할 수 있는가?

주요 결과

• 평가 툴킷은 양성도 위반, 나쁜 공변량 균형, 성향 모델의 잘못된 校정과 같은 문제를 성공적으로 식별하고 진단하여 데이터 및 모델 개선을 가능하게 한다.
• 성향 모델 평가 결과, 데이터 추출 기준과 공변량 선택이 모델 신뢰성에 상당한 영향을 미치며, 반복적 조정가 필요하다는 점이 드러났다.
• 훈련 데이터에서의 양호한 성능만으로는 부족하며, 검증 성능 및 校정 검사가 과적합을 방지하고 일반화 능력을 확보하는 데 필수적이다.
• 이 툴킷은 데이터 서브셋 간에서도 신뢰할 수 있는 모델 평가를 가능하게 하여, 일관된 성능을 확보함으로써 개인 맞춤 의료 질문 탐색을 지원한다.
• 결과 모델이 실패하더라도 잘 작동하는 성향 모델은 서브집단에서 유효한 인과 효과 추정을 가능하게 하여 분석적 유용성을 유지한다.
• 평가 메트릭스에 기반한 반복적 파이프라인은 약 120,000명의 류마티스성 관절염 환자 코hort에서 더 재현 가능하고 신뢰할 수 있는 인과 추론 결과를 도출하는 데 기여했다.