[논문 리뷰] A comparison of methods for model selection when estimating individual treatment effects

Alejandro Schuler, Michael Baiocchi외 2명|arXiv (Cornell University)|2018. 04. 14.

Advanced Causal Inference Techniques인용 수 30

한 줄 요약

이 논문은 개인 치료 효과 추정을 위한 모델 선택 기준으로 R-learner 기반 추정 치료 위험($\widehat{\tau\text{-risk}}_R$)을 사용하는 것을 제안한다. 시뮬레이션을 통해 검증 세트에서 이 기준을 최적화할 경우 진짜 치료 위험을 가장 낮게 유지하는 모델을 일관되게 선택함을 입증하였으며, IPTW나 DR 기반 기준과 비교해도 우수한 성능을 보였다. 이는 정책 가치를 최대화하는 것을 목표로 할 경우에도 마찬가지로 성능이 뛰어나다.

ABSTRACT

Practitioners in medicine, business, political science, and other fields are increasingly aware that decisions should be personalized to each patient, customer, or voter. A given treatment (e.g. a drug or advertisement) should be administered only to those who will respond most positively, and certainly not to those who will be harmed by it. Individual-level treatment effects can be estimated with tools adapted from machine learning, but different models can yield contradictory estimates. Unlike risk prediction models, however, treatment effect models cannot be easily evaluated against each other using a held-out test set because the true treatment effect itself is never directly observed. Besides outcome prediction accuracy, several metrics that can leverage held-out data to evaluate treatment effects models have been proposed, but they are not widely used. We provide a didactic framework that elucidates the relationships between the different approaches and compare them all using a variety of simulations of both randomized and observational data. Our results show that researchers estimating heterogenous treatment effects need not limit themselves to a single model-fitting algorithm. Instead of relying on a single method, multiple models fit by a diverse set of algorithms should be evaluated against each other using an objective function learned from the validation set. The model minimizing that objective should be used for estimating the individual treatment effect for future individuals.

연구 동기 및 목표

• 표준 테스트 세트 손실로 평가할 수 없는 잠재적 결과가 관측되지 않기 때문에, 개인 치료 효과(ITE) 모델에 대한 모델 선택 기준에 대한 합의 부족 문제를 해결하기 위해.
• 다양한 ITE 추정 알고리즘(예: T-learner, R-learner, 랜덤 포레스트, 기울기 부스팅 등) 간에 비교 가능한 검증 기반 기준을 평가하고 비교하기 위해.
• 랜덤화된 설정과 관찰적 설정 모두에서 진짜 치료 위험이 가장 낮고 정책 가치가 가장 높은 모델을 가장 신뢰성 있게 식별할 수 있는 모델 선택 기준을 규명하기 위해.
• 단일 알고리즘이나 히우리스틱에 의존하지 않는 실용적이고 객관적인 ITE 모델 선택 프레임워크를 제공하기 위해.

제안 방법

• 저자들은 잠재적 결과가 알려진 랜덤화된 및 관찰적 데이터를 시뮬레이션하여 제어된 조건 하에서 모델 성능을 평가한다.
• 다양한 알고리즘(예: T-learner, R-learner, 엘라스틱 넷, 기울기 부스팅 등)을 사용해 개인 치료 효과를 추정하고, 여러 검증 세트 기반 기준을 계산한다: $\widehat{\tau\text{-risk}}_R$, $\widehat{\tau\text{-risk}}_{IPTW}$, $\widehat{\tau\text{-risk}}_{match}$, $\widehat{\mu\text{-risk}}$, $\widehat{\mu\text{-risk}}_{IPTW}$, $\hat{v}_{IPTW}$, 및 $\hat{v}_{DR}$.
• 모델 선택은 각 검증 기준을 최소화하는 모델을 선택하는 방식으로 수행되며, 성능 평가에는 진짜 $\tau$-위험과 정책 가치 $v^{(\mathcal{S})}$를 사용해 테스트 세트에서 평가한다.
• R-learner 기반 $\widehat{\tau\text{-risk}}_R$는 R-learner 프레임워크에서 유도되며, 이는 치료와 대조 조건에서의 결과 예측을 조합한 손실 함수를 최소화함으로써 치료 효과를 추정한다.
• 각 선택 기준의 신뢰성 평가를 위해 검증 세트 기준과 진짜 테스트 세트 성능 간의 상관관계를 비교한다.
• 추정기의 편향은 인정되지만, 모델 간 상대적 비교를 목표로 하므로 모델 선택에 있어 덜 중요한 것으로 간주된다.

실험 결과

연구 질문

• RQ1 다양한 데이터 생성 과정에서 어떤 검증 세트 기준이 가장 일관되게 가장 낮은 진짜 치료 위험을 가진 모델을 선택하는가?
• RQ2 비동등성 위반이 있는 관찰적 데이터 설정에서 모델 선택 성능은 랜덤화된 설정과 어떻게 다를까?
• RQ3 정책 가치 기준($\hat{v}_{IPTW}$, $\hat{v}_{DR}$)에 기반해 모델을 선택할 경우, $\tau$-위험 기준에 기반해 선택하는 것보다 더 높은 최종 정책 성능을 달성할 수 있는가?
• RQ4 다양한 추정 알고리즘과 데이터 구성에서 어떤 단일 모델 선택 기준이 다른 기준들을 초월할 수 있는가?
• RQ5 IPTW, 매칭, R-learner 등 다양한 $\tau$-위험 추정기의 진짜 성능에 따라 모델 순위를 매기는 능력은 어떻게 비교되는가?

주요 결과

• R-learner 기반 $\widehat{\tau\text{-risk}}_R$는 랜덤화된 설정을 포함한 모든 조건에서 다른 모든 검증 세트 기준보다 진짜 $\tau$-위험을 가장 낮게 유지하는 모델을 일관되게 선택하는 데 뛰어난 성능을 보였다.
• 정책 가치 $v^{(\mathcal{S})}$를 최대화하는 것을 목표로 할지라도, $\widehat{\tau\text{-risk}}_R$에 기반해 선택하는 것이 $\hat{v}_{IPTW}$나 $\hat{v}_{DR}$에 기반해 선택하는 것보다 더 높은 성능을 내며, 이는 비록 $v^{(\mathcal{S})}$에 대해 비편향이지만 여전히 최적의 성능을 내지 못하기 때문이다.
• $\widehat{\mu\text{-risk}}$와 $\widehat{\mu\text{-risk}}_{IPTW}$ 기준은 잘 작동하며, 랜덤화된 설정에서는 상호 동일한 성능을 보이지만, 모델 선택 정확도에서는 $\widehat{\tau\text{-risk}}_R$에 열등하다.
• 모든 $\tau$-위험 추정기는 상향 편향을 보이지만, 이 편향은 상대적 차이가 유지되므로 모델 순위 매기기 능력에 영향을 주지 않으며, 여전히 유의미한 정보를 제공한다.
• 진짜 치료 효과가 없는 경우(예: 시뮬레이션 1 및 9), 모든 모델이 동일한 성능을 보이며, 이는 기준들이 모델의 동등성을 정확히 반영하고 있음을 확인한다.
• 결과는 모델 성능가 알고리즘에 매우 의존적임을 보여주며, 예를 들어 R-learners, T-learners, 엘라스틱 넷 모델 각각이 다른 시뮬레이션 설정에서 다른 모델들을 능가함을 확인함으로써, 알고리즘에 고착되지 않고 모델 선택이 필요함을 강조한다.