[論文レビュー] Hyperparameter Tuning for Causal Inference with Double Machine Learning: A Simulation Study

Philipp Bach, Oliver Schacht+3 more|arXiv (Cornell University)|Feb 7, 2024

Machine Learning and Data Classification被引用数 6

ひとこと要約

本論文は、ハイパーパラメータの調整と学習者の選択が Double Machine Learning (DML) における因果推定にどのように影響するかを実証的に検討し、ACIC および BCH データを用いて Tune schemes, learners, and causal models (PLR vs IRM) を比較する。

ABSTRACT

Proper hyperparameter tuning is essential for achieving optimal performance of modern machine learning (ML) methods in predictive tasks. While there is an extensive literature on tuning ML learners for prediction, there is only little guidance available on tuning ML learners for causal machine learning and how to select among different ML learners. In this paper, we empirically assess the relationship between the predictive performance of ML methods and the resulting causal estimation based on the Double Machine Learning (DML) approach by Chernozhukov et al. (2018). DML relies on estimating so-called nuisance parameters by treating them as supervised learning problems and using them as plug-in estimates to solve for the (causal) parameter. We conduct an extensive simulation study using data from the 2019 Atlantic Causal Inference Conference Data Challenge. We provide empirical insights on the role of hyperparameter tuning and other practical decisions for causal estimation with DML. First, we assess the importance of data splitting schemes for tuning ML learners within Double Machine Learning. Second, we investigate how the choice of ML methods and hyperparameters, including recent AutoML frameworks, impacts the estimation performance for a causal parameter of interest. Third, we assess to what extent the choice of a particular causal model, as characterized by incorporated parametric assumptions, can be based on predictive performance metrics.

研究の動機と目的

• ハイパーパラメータの調整が DML における因果推定に与える影響を評価する。
• データ分割スキームが調整と推論に及ぼす影響を評価する。
• DML 内の異なる ML 学習器（lasso、RF、XGBoost、AutoML）を比較する。
• 因果モデルの選択（PLR vs IRM）が予測子と調整とどのように相互作用するかを調査する。
• 因果MLの実践的な学習器と調整戦略の選択に対する指針を提供する。

提案手法

• Neyman-直交スコアを用いた DML で因果パラメータを推定する。
• ACIC DGPs および BCH ベースの DGPs を用いた大規模なシミュレーションを実施し、 tuning schemes と learners を評価する。
• 調整のための3つのデータ分割スキームを比較する：全サンプル、分割サンプル、Fold上で。
• 調整されたハイパーパラメータを用いた four learners（lasso、random forest、extreme gradient boosting、AutoML FLAML）をテストする。
• 異なる DGPs の下での適合性を検討するため、PLR および IRM の因果モデルを評価する。
• 雑音成分の予測損失と因果推定の精度との関係を分析する。

実験結果

リサーチクエスチョン

• RQ1 ハイパーパラメータの調整とデータ分割スキームは、DML における因果推定の精度とカバレッジにどのように影響しますか？
• RQ2 DML における雑音パラメータ推定のために用いられる異なるML学習器の相対的な性能はどうですか？
• RQ3 様々なデータ生成過程において、PLR と IRM の因果モデルの選択は推定にどのように影響しますか？
• RQ4 雑音モデルの予測性能は、適切な因果モデルと学習器の選択の指針になりますか？
• RQ5 DML の実務的適用に向けて、どのような実践的な調整推奨が生まれますか？

主な発見

• 全サンプルでの調整と folds 上での調整は、有限サンプルで同様に、分割サンプル調整よりも良い。
• 分割サンプル調整は substantial efficiency loss を生じ、それはサンプルサイズが大きくなると減少する。
• AutoML および lasso 学習器は設定を問わず概ね良好に機能し、線形・加法的 DGP ではPLR が有利、IRM はモデル誤指定に対してより頑健。
• 雑音成分の総合損失が低いほど因果推定が良くなるが、Y の予測損失が最小でも必ずしも最良の因果パフォーマンスには結びつかない。
• Y の予測性能はモデル選択の指針になることがあるが、最適な因果モデルを普遍的に選ぶ信頼できる基準にはならない。
• 全データまたは folds での調整が望ましく、デフォルトのパラメータ設定は因果推定にしばしばバイアスを生む。