[논문 리뷰] Reliable Decision Support using Counterfactual Models

Peter Schulam, Suchi Saria|arXiv (Cornell University)|2017. 03. 30.

Complex Systems and Decision Making인용 수 94

한 줄 요약

논문은 관찰 시계열 데이터에서 행동 시퀀스로 인한 반사실(outcomes)을 예측하기 위해 Counterfactual Gaussian Processes(CGP)를 도입하여 행동에 의해 훈련 정책에 편향이 생기는 문제를 다루고, 개인화된 치료 계획을 위한 위험 평가 및 ‘만약-그렇다면’ 추론을 신뢰할 수 있게 제공합니다.

ABSTRACT

Decision-makers are faced with the challenge of estimating what is likely to happen when they take an action. For instance, if I choose not to treat this patient, are they likely to die? Practitioners commonly use supervised learning algorithms to fit predictive models that help decision-makers reason about likely future outcomes, but we show that this approach is unreliable, and sometimes even dangerous. The key issue is that supervised learning algorithms are highly sensitive to the policy used to choose actions in the training data, which causes the model to capture relationships that do not generalize. We propose using a different learning objective that predicts counterfactuals instead of predicting outcomes under an existing action policy as in supervised learning. To support decision-making in temporal settings, we introduce the Counterfactual Gaussian Process (CGP) to predict the counterfactual future progression of continuous-time trajectories under sequences of future actions. We demonstrate the benefits of the CGP on two important decision-support tasks: risk prediction and "what if?" reasoning for individualized treatment planning.

연구 동기 및 목표

• 훈련 데이터의 행동 정책 편향으로 인해 의사결정 지원에 대한 표준 감독 학습의 신뢰성이 떨어지는 것을 설명한다.
• 정책 간 일반화를 개선하기 위한 목표로 반사실 예측을 제안한다.
• 행동 시퀀스 하의 연속 시간 궤적에 대해 Counterfactual Gaussian Process(CGP)를 도입하고 형식화한다.
• 표시된 점 프로세스(MPP)를 통한 관찰 궤적로부터 CGP를 학습하기 위한 조정된 최대 우도 목적함수를 개발한다.
• 신뢰할 수 있는 위험 예측 및 개인화된 치료 계획을 위한 ‘만약-그렇다면’ 추론 촉진에서 CGP의 유용성을 입증한다.

제안 방법

• 연속 시간 프레임워크에서 집합 C에 속한 행동 a에 대한 반사실 Y[a]를 모델링한다.
• 데이터를 표시된 점 프로세스(MPP)를 사용하여 행동과 결과를 포함하는 불규칙 시계열로 표현한다.
• 역사(history)와 행동에 조건화된 Gaussian 프로세스(GP)로 결과 모델을 가진 CGP를 매개변수화하고, 타이밍과 선택을 포착하는 이벤트/행동 모델을 도입한다.
• MPP 강도와 과거를 통해 행동 정책을 고려하는 조정된 최대 우도 목적함수를 도출한다(식 3).
• 지속시간 연속 시간에서의 무측정 교란(NUC)과 비정보적 측정 시간 가정을 가정하여 CGP를 목표 반사실에 연결한다(가정 3 및 가정 4).
• 관찰 추적의 우도(maximize)로 CGP 매개변수를 추정한 뒤, 의사결정 지원 작업을 위해 Y[s][a] 반사실 궤적을 예측하는 데 CGP를 사용한다.

실험 결과

연구 질문

• RQ1 반사실 기반 학습이 훈련 데이터를 수집하는 데 사용된 행동 정책에 견고한 예측을 산출할 수 있는가?
• RQ2 연속 시간에서 향후 행동 시퀀스 하의 반사실 궤적을 어떻게 신뢰성 있게 예측할 수 있는가?
• RQ3 정책 주도 관찰이 포함된 시계열 데이터에서 반사실 모델이 표준 감독 모델보다 더 신뢰할 수 있는 위험 평가를 제공하는가?
• RQ4 의료 데이터에서 개인화된 치료 계획을 위한 ‘만약-그렇다면’ 추론을 CGP가 지원할 수 있는가?
• RQ5 관찰 추적으로부터 학습된 CGP를 실제 반사실 모델에 연결하는 데 필요한 가정은 무엇인가?

주요 결과

베이스라인 GP A	CGP A	베이스라인 GP B	CGP B	베이스라인 GP C	CGP C
0.000	0.000	0.083	0.001	0.162	0.128
1.000	1.000	0.857	0.998	0.640	0.562
0.853	0.872	0.832	0.872	0.806	0.829

• CGP는 훈련 데이터 정책 전반에 걸쳐 위험 예측이 안정적이며, 정책에 따라 달라지는 기준 GP 모델과 달리 일관적이다.
• 시뮬레이션 데이터에서 CGP 위험 점수는 핵심 가정을 충족하는 여러 체제에서도 거의 동일한 순위 및 AUC를 보이는 반면, 기준 GP는 그렇지 않다.
• 핵심 가정(연속 시간 NUC, 비정보적 측정 시간)의 위반은 CGP의 안정성을 기준 모델들처럼 잃게 만든다.
• ICU 데이터에서 CGP는 다이알리시스 치료가 크레아티닌에 미치는 영향에 대한 질적 반사실 추론을 가능하게 하고 기준 모델 대비 예측 MAE를 개선한다(24시간: 0.39 vs 기준 더 높음; 24-48시간: 0.62).
• CGP는 결과 모델을 위한 가우시안 프로세스의 혼합을 통해 치료 효과와 이질성을 모델링하는 이점이 있다.