[论文解读] Counterfactual Cross-Validation: Stable Model Selection Procedure for Causal Inference Models

Yuta Saito, Shota Yasui|arXiv (Cornell University)|Sep 11, 2019

Advanced Causal Inference Techniques被引用 7

一句话总结

本文提出反事实交叉验证（CF-CV），一种用于因果推断模型的稳定模型选择程序，可保持条件平均处理效应（CATE）预测器性能的真实排序。通过最小化模型选择中有限样本不确定性的上界，CF-CV 在模型选择和超参数调优方面均优于现有指标，展现出更优的最坏情况性能，并对超参数选择具有更强的鲁棒性。

ABSTRACT

We study the model selection problem in conditional average treatment effect (CATE) prediction. Unlike previous works on this topic, we focus on preserving the rank order of the performance of candidate CATE predictors to enable accurate and stable model selection. To this end, we analyze the model performance ranking problem and formulate guidelines to obtain a better evaluation metric. We then propose a novel metric that can identify the ranking of the performance of CATE predictors with high confidence. Empirical evaluations demonstrate that our metric outperforms existing metrics in both model selection and hyperparameter tuning tasks.

研究动机与目标

• 为解决在真实因果效应不可观测且传统交叉验证不可行时，如何选择最佳CATE预测器的挑战。
• 专注于保持CATE预测器性能的排序顺序，而非估计绝对性能，这在模型选择中更具稳定性和实用性。
• 开发一种可靠的评估指标，通过最小化模型选择中的有限样本不确定性，确保在现实应用中的鲁棒性。
• 提升超参数调优的稳定性，减少CATE预测模型选择中的遗憾，尤其在个性化医疗等高风险领域。

提出的方法

• 提出一种改进的反事实回归（CFR）框架作为双重稳健（DR）估计器的回归函数，以减少有限样本不确定性。
• 引入一种新颖的评估指标，通过最小化模型选择中不确定性的上界，来估计CATE预测器性能的排序。
• 采用类似交叉验证的程序，利用反事实预测来评估并基于估计性能对候选模型进行排序。
• 使用权衡超参数 α 来平衡评估指标中的方差与偏差，以在不同数据划分中实现最优稳定性。
• 将该指标应用于模型选择与超参数调优，结合Optuna等优化框架，通过测试集CATE预测误差评估性能。
• 采用斯皮尔曼等级相关系数和遗憾作为评估指标，以衡量模型选择的准确性和稳定性。

实验结果

研究问题

• RQ1 能否设计一种模型选择程序，在反事实不可观测的情况下，仍能可靠地保持CATE预测器性能的真实排序？
• RQ2 如何最小化模型选择中的有限样本不确定性，以提升现实世界因果推断应用中的稳定性和鲁棒性？
• RQ3 所提出的指标是否在CATE预测器的模型选择与超参数调优任务中均优于现有启发式指标？
• RQ4 所提出的指标对评估过程中权衡超参数 α 的选择有多敏感？

主要发现

• CF-CV 在最坏情况下的模型选择性能显著优于现有指标，展现出在多次数据划分中的优越稳定性。
• 在超参数调优中，所提指标相比最佳基线，最坏情况下的归一化均方根误差（NRMSE）降低了1.4%。
• CF-CV 在所有 α 值下均一致优于插件验证指标的遗憾，表明其具有强鲁棒性。
• 斯皮尔曼等级相关系数结果表明，CF-CV 保持了与真实性能排序的高度一致性，尤其在 α 值较小时表现更优。
• 该方法降低了选择次优CATE预测器的风险，使其适用于个性化医疗等高风险应用场景。
• 实证结果证实，最小化有限样本不确定性的上界可显著提升实际应用中模型选择的可靠性和稳定性。