[논문 리뷰] Benchmarking Heterogeneous Treatment Effect Models through the Lens of Interpretability

Jonathan Crabbé, Alicia Curth외 2명|arXiv (Cornell University)|2022. 06. 16.

Advanced Causal Inference Techniques인용 수 6

한 줄 요약

이 논문은 후행적 특성 중요도를 통해 이질적 치료 효과(HTE) 모델을 평가하기 위한 ITErpretability 벤치마크를 도입하여, 다양한 교란 유형에서 모델의 해석 가능성—특히 예측 가능한 공변량을 식별하는 능력—이 상당히 다름을 드러낸다. 예측적 교란이 특성 할당 성능을 가장 심각하게 떨어뜨리는 것으로 나타났으며, CFRNet와 같은 모델에서 균형 정규화 기법은 추정 오차를 개선함에도 불구하고 해석 가능성에 악영향을 줄 수 있음을 발견하였다.

ABSTRACT

Estimating personalized effects of treatments is a complex, yet pervasive problem. To tackle it, recent developments in the machine learning (ML) literature on heterogeneous treatment effect estimation gave rise to many sophisticated, but opaque, tools: due to their flexibility, modularity and ability to learn constrained representations, neural networks in particular have become central to this literature. Unfortunately, the assets of such black boxes come at a cost: models typically involve countless nontrivial operations, making it difficult to understand what they have learned. Yet, understanding these models can be crucial -- in a medical context, for example, discovered knowledge on treatment effect heterogeneity could inform treatment prescription in clinical practice. In this work, we therefore use post-hoc feature importance methods to identify features that influence the model's predictions. This allows us to evaluate treatment effect estimators along a new and important dimension that has been overlooked in previous work: We construct a benchmarking environment to empirically investigate the ability of personalized treatment effect models to identify predictive covariates -- covariates that determine differential responses to treatment. Our benchmarking environment then enables us to provide new insight into the strengths and weaknesses of different types of treatment effects models as we modulate different challenges specific to treatment effect estimation -- e.g. the ratio of prognostic to predictive information, the possible nonlinearity of potential outcomes and the presence and type of confounding.

연구 동기 및 목표

• 기존 HTE 모델 벤치마킹이 PEHE 지표에만 집중하는 데 비해, 해석 가능성 평가의 부재를 해결하기 위해.
• 다양한 교란 유형—예후적, 예측적, 비교란—이 HTE 모델이 진정한 예측 가능한 공변량을 식별하는 데 어떤 영향을 미치는지 조사하기 위해.
• 블랙박스 HTE 추정기에서 특성 중요도를 체계적으로 평가할 수 있도록 투명하고 반합성적인 벤치마킹 환경을 개발하기 위해.
• CFRNet와 같은 기존 정규화 기법, 예를 들어 균형 정규화가 추정 정확도를 향상시켜도 해석 가능성에 어떤 영향을 미치는지 평가하기 위해.
• 개별 치료 효과 추정에서 추정 정밀도와 모델 해석 가능성 간의 상호 상충 관계에 대한 새로운 통찰을 제공하기 위해.

제안 방법

• 진정한 예측 가능한 공변량(기준값)이 알려진 투명한 데이터 생성 과정을 사용해 반합성 데이터셋을 구축하기 위해.
• 블랙박스 HTE 추정기(예: 신경망, CFRNet)를 반합성 데이터에 대해 훈련하여 조건부 평균 치료 효과(CATE)를 추정하기 위해.
• 각 훈련된 HTE 모델의 예측을 해석하기 위해 후행적 특성 중요도 방법(예: LIME, SHAP)을 적용하기 위해.
• 진정한 예측 가능한 공변량과 상위 순위 특성 중요도 점수 간의 겹침을 측정하기 위해 새로운 지표 Attr_pred를 정의하기 위해.
• 교란 유형(예후적, 예측적, 비교란)과 유병률 스케일을 체계적으로 변화시켜 해석 가능성의 강건성을 평가하기 위해.
• Attr_pred(해석 가능성)와 PEHE(추정 정확도)를 모두 사용해 다양한 모델 간 성능을 비교함으로써 상호 상충 관계를 드러내기 위해.

실험 결과

연구 질문

• RQ1 치료 할당 편향의 존재와 유형(예후적, 예측적, 비교란)이 HTE 모델이 진정한 예측 가능한 공변량을 식별하는 데 어떤 영향을 미치는가?
• RQ2 CFRNet와 같은 모델에서 균형 정규화 기법이 추정 정확도를 향상시키더라도, 해석 가능성은 어느 정도 향상되거나 저해되는가?
• RQ3 다양한 교란 설정에서 할당 점수(특성 중요도)와 추정 오차(PEHE) 간의 상관관계는 어떻게 되는가?
• RQ4 데이터 생성 과정의 투명성이 블랙박스 HTE 모델의 해석 가능성에 대한 신뢰할 수 있는 벤치마킹을 가능하게 하는가?
• RQ5 다른 정도의 치료 할당 편향을 가진 데이터셋에 훈련된 모델 간에 해석 가능성 성능에 체계적인 차이가 존재하는가?

주요 결과

• Attr_pred로 측정한 할당 성능은 치료 할당 편향이 증가할수록 체계적으로 악화되며, 특히 예측적 교란에서 가장 심각하게 악화된다.
• 성능 저하는 예측적 교란에서 가장 심각한데, 이는 치료군 내 공변량의 변동성이 감소해 진정한 효과 수정 요인을 학습하는 데 모델이 어려움을 겪기 때문이다.
• 놀랍게도, 예후적 교란에서 Attr_pred 성능은 가장 덜 떨어지며, 이는 공변량의 불균형이 비예측적 특성에 대한 잘못된 할당을 부분적으로 상쇄하기 때문이다.
• CFRNet의 균형 정규화 기법은 예측적 교란에서 Attr_pred에 심각한 하락을 초래하여, 추정 정확도와 해석 가능성 간의 상충 관계를 시사한다.
• 예후적 교란에서 PEHE는 향상되었음에도 불구하고 Attr_pred 성능은 비교적 안정되어 있어, 균형 정규화 기법이 예후 성분의 추정 정확도를 낮출 수 있음을 시사한다.
• 벤치마킹 결과, PEHE만으로는 HTE 모델 평가에 부족함을 드러내며, 유사한 PEHE를 가진 모델 간에도 해석 가능성과 특성 탐색 능력에서 극명한 차이가 있음을 확인하였다.