[논문 리뷰] Hyperparameter Tuning for Causal Inference with Double Machine Learning: A Simulation Study

Philipp Bach, Oliver Schacht외 3명|arXiv (Cornell University)|2024. 02. 07.

Machine Learning and Data Classification인용 수 6

한 줄 요약

본 연구는 이중 기계 학습(DML)에서 하이퍼파라미터 튜닝과 학습자 선택이 인과 추정에 미치는 영향을 실증적으로 분석하며, ACIC와 BCH 데이터를 사용해 튜닝 방식, 학습자 및 인과 모델(PLR 대 IRM)을 비교한다.

ABSTRACT

Proper hyperparameter tuning is essential for achieving optimal performance of modern machine learning (ML) methods in predictive tasks. While there is an extensive literature on tuning ML learners for prediction, there is only little guidance available on tuning ML learners for causal machine learning and how to select among different ML learners. In this paper, we empirically assess the relationship between the predictive performance of ML methods and the resulting causal estimation based on the Double Machine Learning (DML) approach by Chernozhukov et al. (2018). DML relies on estimating so-called nuisance parameters by treating them as supervised learning problems and using them as plug-in estimates to solve for the (causal) parameter. We conduct an extensive simulation study using data from the 2019 Atlantic Causal Inference Conference Data Challenge. We provide empirical insights on the role of hyperparameter tuning and other practical decisions for causal estimation with DML. First, we assess the importance of data splitting schemes for tuning ML learners within Double Machine Learning. Second, we investigate how the choice of ML methods and hyperparameters, including recent AutoML frameworks, impacts the estimation performance for a causal parameter of interest. Third, we assess to what extent the choice of a particular causal model, as characterized by incorporated parametric assumptions, can be based on predictive performance metrics.

연구 동기 및 목표

• 하이퍼파라미터 튜닝이 DML의 인과 추정에 어떤 영향을 미치는지 평가합니다.
• 데이터 분할 스킴이 튜닝과 추론에 미치는 영향을 평가합니다.
• DML 내에서 서로 다른 ML 학습자(라쏘, RF, XGBoost, AutoML)를 비교합니다.
• 인과 모델의 선택(PLR vs IRM)이 예측 변수 및 튜닝과 어떻게 상호 작용하는지 조사합니다.
• 실험적 응용에서 학습자 및 튜닝 전략 선택에 대한 실용적 가이드를 제공합니다.

제안 방법

• Neyman-직교 점수를 사용한 DML로 인과 매개변수 추정.
• ACIC DGP 및 BCH 기반 DGP를 이용한 광범위한 시뮬레이션을 통해 튜닝 방식과 학습자를 평가합니다.
• 튜닝을 위한 세 가지 데이터 분할 스킴(전 샘플, 분할 샘플, 폴드에서의 튜닝)을 비교합니다.
• 튜닝된 하이퍼파라미터를 가진 네 가지 학습자(lasso, random forest, extreme gradient boosting, AutoML FLAML)를 테스트합니다.
• 다양한 DGP에서 적합성을 연구하기 위해 PLR 및 IRM 인과 모델을 평가합니다.
• 예측 손실(= nuisance 구성요소의 예측 손실)과 인과 추정의 정확도 간의 관계를 분석합니다.

실험 결과

연구 질문

• RQ1 DML에서 하이퍼파라미터 튜닝과 데이터 분할 스킴이 인과 추정의 정확도와 표본 커버리지에 어떤 영향을 미치는가?
• RQ2 DML에서 nuisance 매개변수 추정에 사용되는 서로 다른 ML 학습자의 상대적 성능은 어떠한가?
• RQ3 다양한 데이터 생성 프로세스 하에서 PLR와 IRM 인과 모델의 선택이 추정에 어떤 영향을 미치는가?
• RQ4 nuisance 모델의 예측 성능이 적절한 인과 모델과 학습자를 선택하는 가이드가 될 수 있는가?
• RQ5 DML의 실전 적용을 위한 구체적 튜닝 권고안은 무엇인가?

주요 결과

• 전 샘플 튜닝과 폴드에서의 튜닝은 유한 표본에서 분할 샘플 튜닝보다 비슷하게 또는 더 나은 성능을 보인다.
• 분할 샘플 튜닝은 샘플 크기가 커질수록 효율 저하가 크게 나타난다.
• AutoML 및 lasso 학습자는 일반적으로 다양한 설정에서 우수한 성능을 보이며, 선형적이고 가법적인 DGP에서는 PLR이 선호되고 IRM은 모델 mis-specification에 더 강인하다.
• 악성한 예측 손실이 작은 경우 인과 추정이 더 잘 되는 경향이지만 Y에 대한 최소 예측 손실이 항상 최적의 인과 성능으로 이어지지는 않는다.
• Y에 대한 예측 성능은 모델 선택의 지표가 될 수 있지만, 최적의 인과 모델을 일반적으로 보장하지는 않는다.
• 전체 데이터나 폴드에서의 튜닝이 바람직하며, 기본 매개변수 설정은 인과 추정에 편향을 도입하는 경우가 많다.