[論文レビュー] Counterfactual Cross-Validation: Stable Model Selection Procedure for Causal Inference Models

Yuta Saito, Shota Yasui|arXiv (Cornell University)|Sep 11, 2019

Advanced Causal Inference Techniques被引用数 7

ひとこと要約

本稿では、因果推論モデルのための安定したモデル選択手順である反事後的交差検証（CF-CV）を提案する。この手法は、条件付き平均処置効果（CATE）予測子の性能順位を保持する。有限標本における不確実性の上界を最小化することで、CF-CVは従来の指標よりもモデル選択およびハイパーパrameterチューニングの両面で優れた性能を示し、最悪ケース性能が優れており、ハイパーパrameterの選択に対して頑健である。

ABSTRACT

We study the model selection problem in conditional average treatment effect (CATE) prediction. Unlike previous works on this topic, we focus on preserving the rank order of the performance of candidate CATE predictors to enable accurate and stable model selection. To this end, we analyze the model performance ranking problem and formulate guidelines to obtain a better evaluation metric. We then propose a novel metric that can identify the ranking of the performance of CATE predictors with high confidence. Empirical evaluations demonstrate that our metric outperforms existing metrics in both model selection and hyperparameter tuning tasks.

研究の動機と目的

• 真の因果効果が観測不可能であり、従来の交差検証が適用できない状況において、最良のCATE予測子を選択する課題に対処すること。
• 絶対的な性能を推定するのではなく、CATE予測子の性能順序を保持することに焦点を当てること。これは、モデル選択においてより安定的で実用的である。
• 有限標本における不確実性を最小化する信頼性のある評価指標を開発し、実世界の応用においても頑健であることを保証すること。
• 特にパーソナライズド・メディスンなどのハイリスク分野において、CATE予測モデルの選択におけるハイパーパrameterチューニングの安定性を向上させ、後悔を低減すること。

提案手法

• 有限標本における不確実性を低減するため、二重にロバスト（DR）推定量の回帰関数として、反事後的回帰（CFR）フレームワークの修正版を提案する。
• モデル選択における不確実性の上界を最小化することで、CATE予測子の性能順位を推定する新しい評価指標を導入する。
• 反事後的予測を用いて、推定性能に基づいて候補モデルを評価・順位付けする、交差検証に類似した手続きを採用する。
• 評価指標における分散とバイアスのトレードオフを調整するためのハイパーパrameter α を使用し、異なるデータ分割においても安定性を最適化する。
• 最適化フレームワーク（例：Optuna）を用いて、テストセットのCATE予測誤差を評価対象として、モデル選択およびハイパーパrameterチューニングにこの指標を適用する。
• モデル選択の正確性と安定性を評価するために、スピアマン順位相関と後悔を評価指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 真のCATE予測子の性能順位を、観測不可能な反事後的効果が存在する状況でも信頼性高く保持できるモデル選択手順を設計できるか？
• RQ2 有限標本におけるモデル選択の不確実性をどのように最小化すれば、実世界の因果推論応用における安定性と頑健性が向上するか？
• RQ3 提案された指標は、CATE予測子のモデル選択およびハイパーパrameterチューニングの両方において、従来のヒューリスティック指標を上回る性能を示すか？
• RQ4 評価手順におけるトレードオフハイパーパrameter α の選択に、提案指標はどれほど感受的か？

主な発見

• CF-CVは、複数のデータ分割においても、真の性能順位を保持するという点で、従来の指標を著しく上回った。
• ハイパーパラメータチューニングにおいて、CF-CVは最良のベースラインと比較して、最悪ケースの正規化平均二乗誤差（NRMSE）を1.4%改善した。
• トレードオフハイパーパラメータ α のすべての値において、CF-CVはプラグイン検証指標よりも後悔が低く、その頑健性が示された。
• スピアマン順位相関の結果から、CF-CVは特に α の値が小さい場合に真の性能順位と高い整合性を示した。
• CF-CVは、最適でないCATE予測子を選択するリスクを低減し、パーソナライズド・メディスンなどのハイリスク分野に適していることがわかった。
• 実験的結果から、有限標本における不確実性の上界を最小化することは、実際の応用においてより信頼性が高く安定したモデル選択をもたらすことが確認された。