[論文レビュー] Debiased Machine Learning without Sample-Splitting for Stable Estimators

Qizhao Chen, Vasilis Syrgkanis+1 more|arXiv (Cornell University)|Jun 3, 2022

Statistical Methods and Inference被引用数 4

ひとこと要約

本稿は、最初の段階の推定アルゴリズムが $o(n^{-1/2})$ の1つずつ除外したときの安定性条件を満たす限り、標本分割を必要とせず因果推定子に根-$n$ の一貫性と漸近正規性を達成するデバイアス除去機械学習フレームワークを提案する。主な貢献は、中程度の標本サイズにおいて標本再利用を可能にすることであり、理論的保証は、置換なしのサブサンプリングを用いたアンサンブル手法（バギングなど）へも拡張可能である。

ABSTRACT

Estimation and inference on causal parameters is typically reduced to a generalized method of moments problem, which involves auxiliary functions that correspond to solutions to a regression or classification problem. Recent line of work on debiased machine learning shows how one can use generic machine learning estimators for these auxiliary problems, while maintaining asymptotic normality and root-$n$ consistency of the target parameter of interest, while only requiring mean-squared-error guarantees from the auxiliary estimation algorithms. The literature typically requires that these auxiliary problems are fitted on a separate sample or in a cross-fitting manner. We show that when these auxiliary estimation algorithms satisfy natural leave-one-out stability properties, then sample splitting is not required. This allows for sample re-use, which can be beneficial in moderately sized sample regimes. For instance, we show that the stability properties that we propose are satisfied for ensemble bagged estimators, built via sub-sampling without replacement, a popular technique in machine learning practice.

研究の動機と目的

• 標本分割を不要とするデバイアス除去機械学習を実現しつつ、因果推定子の漸近正規性と根-$n$ の一貫性を維持すること。
• 標準的な2段階推定が標本分割なしで有効であるために十分な最小限の正則性条件（特に1つずつ除外したときの安定性）を同定すること。
• 実用的な機械学習手法（置換なしのサブサンプリングによるバギング推定子など）に対しても理論的保証を拡張すること。
• 複雑な非パラメトリックな機械学習モデルを因果推定に用いるための理論的基盤を提供し、推論の有効性を損なわないようにすること。

提案手法

• 最初の段階のノイズ推定子 $\hat{g}$ に対して、$o(n^{-1/2})$ の1つずつ除外したときの安定性条件を導入し、従来のドンスカー条件や平均二乗誤差のみの条件に代わる。
• 最初の段階の推定子が1つずつ除外したときの意味で安定している場合、推定誤差が目的パラメータ $\theta$ に与える影響が2次的になることを確立し、漸近正規性を可能にする。
• 主な補題を用いて、安定性および連続性の条件下で、経験的モーメント過程 $G_n(\hat{\theta}, \hat{g})$ が $G_n(\theta_0, g_0)$ に $o_p(n^{-1/2})$ のオーダーで近似可能であることを示す。
• モーメント関数の非線形性を扱うために、ヤコビアンおよびモーメント関数への安定性および連続性条件を拡張する。
• サブサンプリングを用いたバギング推定子が、サブサンプルサイズ $m = o(\sqrt{n})$ のとき、必要な安定性条件を満たすことを示す。
• 確率的等連続性および経験過程論を用いて、真のパラメータ下での期待値からの経験的モーメントの乖離を制御する。

実験結果

リサーチクエスチョン

• RQ1 標本分割なしのデバイアス除去機械学習において、漸近正規性と根-$n$ の一貫性を達成できるか？
• RQ2 最初の段階の推定子に対して、2段階推定が有効であるために十分な最小限の正則性条件は何か？
• RQ3 置換なしのサブサンプリングを用いたアンサンブル手法（バギングなど）は、標本分割なしの推論に必要な安定性条件を満たすか？
• RQ4 ノイズ推定子の安定性が、モーメント条件推定における目的パラメータの漸近分布にどのように影響するか？

主な発見

• 本稿は、ノイズ推定子 $\hat{g}$ が1つずつ除外したとき $o(n^{-1/2})$ の安定性を満たす限り、標本分割なしで $\hat{\theta}$ の漸近正規性と根-$n$ の一貫性が達成されることを確立した。
• 置換なしのサブサンプリングによるバギング推定子は、サブサンプルサイズ $m$ が $\sqrt{n}$ よりもゆっくりと増加する場合、必要な安定性条件を満たす。
• この手法により、標本分割によって顕著なデータ損失が生じる中程度の標本サイズにおいて、完全な標本再利用が可能となり、効率性が向上する。
• モーメント関数およびヤコビアン関数がノイズ関数に関してリプシッツ型の連続性条件を満たす場合、理論的枠組みは非線形モーメント関数へも拡張可能である。
• 安定性条件は、先行研究よりも弱く、より速いバイアスの減少（例：$o(n^{-1})$）を要件としていなかったため、より広範な機械学習モデルのクラスに適用可能である。