[논문 리뷰] Counterfactual Reasoning for Fair Clinical Risk Prediction

Stephen Pfohl, Tony Duan외 2명|arXiv (Cornell University)|2019. 07. 14.

Machine Learning in Healthcare참고 문헌 47인용 수 10

한 줄 요약

이 논문은 환자와 민감한 특성이 변경된 반사적 환자(Counterfactual Patient)에 대해 일관된 예측이 요구되는 조건을 통해 군집 수준의 정의로운 기준을 개인 수준으로 확장하는 새로운 정의 기준인 개인별 동일화된 반사적 오차(Individual Equalized Counterfactual Odds)를 제안한다. 전자 건강 기록(EHR) 데이터에서 변동형 오토인코더(Varinatinal Autoencoder, VAE)를 사용해 반사적 환자를 생성함으로써, 입원 사망 및 장기 입원 예측에 대해 정의로운 임상 위험 예측이 가능해지지만, 특히 사망 예측의 경우 정의성과 예측 성능 사이의 상충 관계가 관찰된다.

ABSTRACT

The use of machine learning systems to support decision making in healthcare raises questions as to what extent these systems may introduce or exacerbate disparities in care for historically underrepresented and mistreated groups, due to biases implicitly embedded in observational data in electronic health records. To address this problem in the context of clinical risk prediction models, we develop an augmented counterfactual fairness criteria to extend the group fairness criteria of equalized odds to an individual level. We do so by requiring that the same prediction be made for a patient, and a counterfactual patient resulting from changing a sensitive attribute, if the factual and counterfactual outcomes do not differ. We investigate the extent to which the augmented counterfactual fairness criteria may be applied to develop fair models for prolonged inpatient length of stay and mortality with observational electronic health records data. As the fairness criteria is ill-defined without knowledge of the data generating process, we use a variational autoencoder to perform counterfactual inference in the context of an assumed causal graph. While our technique provides a means to trade off maintenance of fairness with reduction in predictive performance in the context of a learned generative model, further work is needed to assess the generality of this approach.

연구 동기 및 목표

• 편향된 관찰 기반 EHR 데이터로 훈련된 임상 위험 예측 모델에서 개인 수준의 정의성을 다루기 위해.
• 등가 오차와 같은 군집 수준의 정의성 지표를 반사적 추론을 통해 개인 수준으로 확장하기 위해.
• 알려진 구조적 인과 모델이 필요하지 않은 실용적인 프레임워크를 개발하여 임상 기계학습 모델의 정의성을 평가하고 향상시키기 위해.
• 실제 EHR 데이터 세트에서 정의성과 예측 성능 사이의 상충 관계를 평가하기 위해.
• 변동형 오토인코더를 사용한 반사적 추론의 가능성과 한계를 탐색하기 위해, 특히 정의 인식 기반 임상 모델링에서의 적용 가능성을 고려한다.

제안 방법

• 사실 기반 환자와 민감한 특성이 변경된 반사적 환자에 대해 동일한 예측이 요구되는 조건을 부여함으로써, 개인별 동일화된 반사적 오차를 새로운 정의 기준으로 제안한다. 이는 결과가 다를 바 없이 가정된 조건에서 성립한다.
• 인과 그래프를 가정하여 변동형 오토인코더(Variational Autoencoder, VAE)를 사용해 반사적 환자 표현을 생성함으로써, 완전히 명시된 구조 방정식 모델이 없더라도 반사적 추론을 가능하게 한다.
• 실제 EHR 데이터에 대해 두 가지 임상 과제인 입원 사망 및 장기 입원 예측에 대해 VAE 기반 반사적 샘플링을 적용한다.
• 예측 성능과 개인별 동일화된 반사적 오차 기준 충족을 동시에 최적화하는 훈련 절차를 적용한다.
• VAE의 잠재 공간을 활용해 타당한 반사적 환자를 생성하며, 이는 모델가 데이터 생성 과정을 충분히 잘 반영한다고 가정할 때 정의성 평가가 가능하다는 전제에 기반한다.
• 모델 불확실성 하에서 정의성 주장의 향후 검증 기반으로 민감도 분석 및 시뮬레이션 연구를 수행한다.

실험 결과

연구 질문

• RQ1 반사적 추론을 사용해 임상 위험 예측 모델에서 개인 수준의 정의성을 정의할 수 있는가?
• RQ2 진정한 데이터 생성 과정이 알려지지 않은 상황에서 개인 수준의 정의성을 어떻게 확보할 수 있는가?
• RQ3 EHR 데이터에 반사적 정의성 기준을 적용할 경우, 예측 성능와 정의성 사이에 존재하는 상충 관계는 어떠한가?
• RQ4 알려진 구조적 인과 모델이 없는 상황에서 변동형 오토인코더가 정의성 평가를 위한 반사적 환자를 신뢰성 있게 생성할 수 있는가?
• RQ5 사망 예측과 장기 입원 예측과 같은 다양한 임상 과제에서 정의성과 성능의 상충 관계는 어떻게 다를 수 있는가?

주요 결과

• 제안된 방법은 VAE에서 샘플된 반사적 환자를 활용해 개인별 동일화된 반사적 오차 기준을 충족하는 정의로운 임상 위험 예측 모델을 성공적으로 생성하였다.
• 특히 입원 사망 예측의 경우, 정의성과 예측 성능 사이에 뚜렷한 상충 관계가 관찰되었으며, 정의성 제약 조건이 모델 성능을 더 크게 저하시켰다.
• VAE 기반 접근법은 알려진 구조 방정식 모델이 없는 상황에서 반사적 추론을 가능하게 하였지만, 정의성은 생성 모델의 맥락 내에서만 잘 정의된다.
• 이 방법은 특히 장기 입원 예측의 경우 예측 정확도를 유지하면서도 개인 수준의 정의성을 향상시킬 수 있음을 보여주었다.
• 이 방법은 VAE의 생성 모델 품질에 민감하다. 만약 VAE가 진정한 데이터 생성 과정을 정확히 반영하지 못한다면, 현실에서는 정의성 주장이 성립하지 않을 수 있다.
• 모델 불확실성 하에서 정의성의 타당성을 검증하고, 강건성에 대한 민감도 분석을 탐색하기 위한 추가 연구가 필요하다.