[논문 리뷰] Learning Interpretable Models with Causal Guarantees

Carolyn Kim, Osbert Bastani|arXiv (Cornell University)|2019. 01. 24.

Explainable Artificial Intelligence (XAI)참고 문헌 41인용 수 12

한 줄 요약

이 논문은 어떤 해석 가능한 지도 학습 알고리즘을 인과적 보장이 있는 개인 치료 효과(ITE) 예측 모델로 변환하는 일반적인 프레임워크를 제안한다. 모델 압축을 사용하여 가상의 무작위 대조 시험(RCT)에서 유도된 분포에서 해석 가능한 모델을 훈련시킴으로써, 인과적 타당성을 유지하면서도 해석 가능성을 확보한다. 실세계 데이터에서 기존 모델보다 우수한 성능을 보이며, 특히 ITE 예측 정확도에서 뛰어난 성능을 발휘한다.

ABSTRACT

Machine learning has shown much promise in helping improve the quality of medical, legal, and financial decision-making. In these applications, machine learning models must satisfy two important criteria: (i) they must be causal, since the goal is typically to predict individual treatment effects, and (ii) they must be interpretable, so that human decision makers can validate and trust the model predictions. There has recently been much progress along each direction independently, yet the state-of-the-art approaches are fundamentally incompatible. We propose a framework for learning interpretable models from observational data that can be used to predict individual treatment effects (ITEs). In particular, our framework converts any supervised learning algorithm into an algorithm for estimating ITEs. Furthermore, we prove an error bound on the treatment effects predicted by our model. Finally, in an experiment on real-world data, we show that the models trained using our framework significantly outperform a number of baselines.

연구 동기 및 목표

• 의료, 법, 금융 분야에서 의사결정을 위한 인과적이고 해석 가능한 기계학습 모델의 필수적인 필요성을 해결하기 위해.
• 최신의 블랙박스 인과 모델과 해석 가능한 모델 간의 근본적인 불일치를 극복하기 위해.
• 해석 가능한 지도 학습 알고리즘을 어떤 것도 일반적인 프레임워크로 변환하여 인과적 ITE 예측에 활용할 수 있도록 하기 위해.
• 결과로 얻어진 해석 가능한 모델의 성능에 대한 이론적 오차 경계를 제공하기 위해.
• 관찰 데이터만을 사용하는 표준 기준 모델과 비교하여, 이 프레임워크가 ITE 예측 정확도를 크게 향상시키는지 실증적으로 검증하기 위해.

제안 방법

• 프레임워크는 모델 압축을 사용한다: 사전 훈련된 블랙박스 오라클 모델을 가상의 RCT에서 유도된 분포에서 근사하도록 해석 가능한 모델을 훈련시킨다.
• RCT 분포는 치료 할당이 공변량과 독립적이라는 가정을 통해 구성되며, 이는 인과적 타당성을 보장한다.
• 최종 해석 가능한 모델은 치료 조건과 대조 조건에서의 예측값의 차이를 통해 ITE를 예측한다: $\hat{\tau}_{f}(x) = \hat{f}(x,1) - \hat{f}(x,0)$.
• 이론적 분석을 통해 해석 가능한 모델의 오차는 오라클 모델의 RCT 분포에서의 오차, 그 분포에서 가능한 최고의 해석 가능한 모델의 오차, 그리고 일반화 오차로 분해됨을 보여준다.
• 강한 무시 가능성을 가정하여 기존 인과 표현 학습의 보장을 해석 가능한 모델로 확장한다.
• 이 방법은 해석 가능한 모델의 선택에 관계없이 적용 가능하므로 의사결정 트리, LASSO, GBM, 랜덤 포레스트 등 다양한 모델에 활용 가능하다.

실험 결과

연구 질문

• RQ1 모든 해석 가능한 지도 학습 알고리즘을 인과적 보장이 있는 개인 치료 효과 예측 모델로 전환할 수 있는 일반적인 프레임워크를 설계할 수 있는가?
• RQ2 결과로 얻어진 해석 가능한 모델의 성능은 오라클 블랙박스 모델의 품질과 기본 알고리즘의 해석 가능성에 어떻게 의존하는가?
• RQ3 이 프레임워크를 통해 훈련된 해석 가능한 모델이 수행하는 ITE 예측에 대해 수립할 수 있는 이론적 오차 경계는 무엇인가?
• RQ4 이 프레임워크는 관찰 데이터만을 사용하는 표준 기준 모델보다 ITE 예측 성능에서 뛰어나게 되는가?
• RQ5 실제 RCT 데이터가 없을 경우, RCT 유사 분포의 사용이 인과적 일반화에 얼마나 기여하는가?

주요 결과

• 제안된 프레임워크는 테스트한 모든 모델 유형에서 $\sqrt{\epsilon_{\mathrm{PEHE}}}$, 즉 ITE 예측의 제곱근 평균 제곱오차 측정 기준으로 기존 기준 모델을 일관되게 능가한다.
• IHDP 데이터셋에서, CART 트리 기반으로 프레임워크는 $\sqrt{\epsilon_{\mathrm{PEHE}}}$가 0.439 ± 0.02를 기록하여 기준 모델의 0.534 ± 0.03보다 뚜렷이 향상된 성능을 보였다.
• 정직한 트리 기반으로는 프레임워크가 0.439 ± 0.02를 기록하여 기준 모델의 0.470 ± 0.03보다 향상되었으며, 이는 인과 추론을 위해 설계된 모델에서도 개선이 이루어졌음을 보여준다.
• LASSO, 커널 리지 회귀, GBM, 랜덤 포레스트를 포함한 모든 모델 유형에서 성능 향상이 관찰되어 광범위한 적용 가능성을 입증하였다.
• ITE 예측에서 가장 두드러진 개선이 있었으며, $\sqrt{\epsilon_{\mathrm{PEHE}}}$에서 일관된 성과 향상이 있었고, 대부분의 경우 ATE 예측 성능 역시 향상되었다.
• 결과는 RCT 데이터 부족의 대가가 오라클 모델의 오차로 제한되어 있으며, 이 프레임워크가 RCT 분포에서의 모델 압축을 통해 이 비용을 효과적으로 완화함을 확인한다.