[논문 리뷰] Counterfactual Cross-Validation: Stable Model Selection Procedure for Causal Inference Models

Yuta Saito, Shota Yasui|arXiv (Cornell University)|2019. 09. 11.

Advanced Causal Inference Techniques인용 수 7

한 줄 요약

이 논문은 진정한 조건부 평균 치료 효과(CATE) 예측자 성능 순위를 유지하면서 유한 표본 불확실성의 상한을 최소화함으로써 안정적인 원인 추론 모델 선택 절차인 반사적 교차검증(CF-CV)을 제안한다. 기존의 메트릭보다 모델 선택 및 하이퍼파라미터 튜닝에서 뛰어난 최악의 경우 성능과 하이퍼파라미터 선택에 대한 강건성을 보이며, 성능 순위 유지에 초점을 맞춘다.

ABSTRACT

We study the model selection problem in conditional average treatment effect (CATE) prediction. Unlike previous works on this topic, we focus on preserving the rank order of the performance of candidate CATE predictors to enable accurate and stable model selection. To this end, we analyze the model performance ranking problem and formulate guidelines to obtain a better evaluation metric. We then propose a novel metric that can identify the ranking of the performance of CATE predictors with high confidence. Empirical evaluations demonstrate that our metric outperforms existing metrics in both model selection and hyperparameter tuning tasks.

연구 동기 및 목표

• 진정한 원인 효과가 관측되지 않을 때 최적의 CATE 예측자를 선택하는 데 도전하는 것.
• 절대 성능 추정이 아니라 CATE 예측자 성능 순서 유지에 중점을 두어, 모델 선택에 더 안정적이고 실용적인 접근을 제공하는 것.
• 유한 표본 불확실성의 상한을 최소화하여 신뢰할 수 있는 평가 메트릭을 개발함으로써 실생활 응용에서의 강건성을 확보하는 것.
• 특히 개인화 의료와 같은 고위험 분야에서 CATE 예측 모델 선택의 하이퍼파라미터 튜닝 안정성 향상과 회귀 감소를 위한 것.

제안 방법

• 유한 표본 불확실성을 줄이기 위해 이중으로 강건한(DR) 추정기의 회귀 함수로 반사적 회귀(CFR) 프레임워크의 수정된 버전을 제안한다.
• 모델 선택에서의 불확실성 상한을 최소화함으로써 CATE 예측자 성능 순위를 추정하는 새로운 평가 메트릭을 도입한다.
• 대체 예측값을 사용하여 후보 모델을 평가하고 성능 추정 기반으로 순위를 매기는 교차검증 유사 절차를 구현한다.
• 평가 메트릭에서 분산과 편향의 균형을 맞추기 위해 무작위성 조절 하이퍼파라미터 α를 사용하며, 다양한 데이터 분할에서의 안정성을 최적화한다.
• Optuna와 같은 최적화 프레임워크를 활용해 모델 선택 및 하이퍼파라미터 튜닝에 메트릭을 적용하며, 테스트 세트의 CATE 예측 오차를 기반으로 성능을 평가한다.
• 모델 선택 정확성과 안정성을 평가하기 위해 스피어만 순위 상관계수와 회귀를 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 관측되지 않은 반사적 결과가 존재하는 상황에서도 진정한 CATE 예측자 성능 순위를 안정적으로 유지할 수 있는 모델 선택 절차를 설계할 수 있는가?
• RQ2 실생활 원인 추론 응용 분야에서의 안정성과 강건성을 향상시키기 위해 모델 선택에서의 유한 표본 불확실성을 어떻게 최소화할 수 있는가?
• RQ3 제안된 메트릭이 기존 히우리스틱 메트릭보다 CATE 예측자에 대한 모델 선택 및 하이퍼파라미터 튜닝 작업에서 뛰어나게 성능을 발휘하는가?
• RQ4 평가 절차에서의 무작위성 조절 하이퍼파라미터 α의 선택에 대해 제안된 메트릭은 얼마나 민감한가?

주요 결과

• CF-CV는 다양한 데이터 분할에서 뛰어난 안정성을 보이며, 기존 메트릭보다 최악의 경우 성능에서 뚜렷한 승리를 거두었다.
• 하이퍼파라미터 튜닝에서 CF-CV는 최고의 베이스라인 대비 최악의 경우 정규화된 평균 제곱근 오차(NRMSE)에서 1.4% 향상된 성능을 기록했다.
• 모든 α 값에서 플러그인 검증 메트릭보다 CF-CV가 회귀 측정치에서 뛰어난 성능을 보이며 강건성을 입증했다.
• 스피어만 순위 상관계수 결과는 CF-CV가 특히 α 값이 작은 경우 진정한 성능 순위와 높은 일치를 유지함을 보여주었다.
• 이 방법은 최적의 CATE 예측자를 선택할 위험을 줄여, 개인화 의료와 같은 고위험 응용 분야에 적합하다.
• 실험 결과는 유한 표본 불확실성의 상한을 최소화함으로써 실질적으로 더 신뢰할 수 있고 안정적인 모델 선택이 가능하다는 점을 확인했다.