[論文レビュー] De-Biased Machine Learning of Global and Local Parameters Using Regularized Riesz Representers

Victor Chernozhukov, Whitney K. Newey+1 more|arXiv (Cornell University)|Feb 23, 2018

Statistical Methods and Inference被引用数 26

ひとこと要約

本稿では、高次元モデルにおけるグローバルおよびローカルパラメータの両方に対して、正則化されたリーマン表現子推定法を用いたバイアス補正機械学習を可能にするため、ℓ₁正則化推定を用いる。Neyman直交性を満たす推定方程式を構築することで、ヌイアンス関数の微小な摂動に対してもロバストであり、一様漸近的妥当性および非漸近的ガウス近似を保証する。これは、収束速度が遅い非正則関数的量に対しても有効である。

ABSTRACT

We provide adaptive inference methods, based on $\ell_1$ regularization, for regular (semi-parametric) and non-regular (nonparametric) linear functionals of the conditional expectation function. Examples of regular functionals include average treatment effects, policy effects, and derivatives. Examples of non-regular functionals include average treatment effects, policy effects, and derivatives conditional on a covariate subvector fixed at a point. We construct a Neyman orthogonal equation for the target parameter that is approximately invariant to small perturbations of the nuisance parameters. To achieve this property, we include the Riesz representer for the functional as an additional nuisance parameter. Our analysis yields weak ``double sparsity robustness'': either the approximation to the regression or the approximation to the representer can be ``completely dense'' as long as the other is sufficiently ``sparse''. Our main results are non-asymptotic and imply asymptotic uniform validity over large classes of models, translating into honest confidence bands for both global and local parameters.

研究の動機と目的

• 高次元設定下での条件付き回帰関数の線形関数的量に対する誠実な推論のための一般枠組みを構築すること。
• 特に弱識別性や非正則性の下で、グローバルおよびローカルパラメータを標的にする機械学習推定量のバイアス問題に対処すること。
• 正則（1/√n 速度）および非正則（1/√n 速度未満）の両関数的量を、一様なロバスト枠組みで統合的に推定・推論すること。
• ℓ₁正則化されたリーマン表現子推定の非漸近的理論を提供し、モデル誤指定下でもロバスト性を保証すること。
• 従来の文献で未発展であった、条件付き平均処置効果などのローカルパラメータに対しても、二重機械学習を拡張すること。

提案手法

• 関数的量のリーマン表現子を追加のヌイアンスパラメータとして含めることで、二重ロバスト性を達成するNeyman直交性推定方程式を構築する。
• 明示的な密度関数や傾向スコア推定を避けるために、リーマン表現子を暗黙的に特徴付ける経験的モーメント条件をℓ₁正則化推定で解く。
• 過学習バイアスを低減し、高次元モデル全体にわたる一様妥当性を確保するため、クロスフィット（サンプル分割）を適用する。
• 弱い二重スパarsityロバスト性を確立：回帰またはリーマン表現子の近似がスパースでない場合でも、もう一方がスパースであればロバスト性が保証される。
• ガウス近似理論を活用し、正則化回帰推定下でのDML推定量の非漸近的正規性を導出する。
• 著者らの追従的研究で示されるように、線形化により非線形関数的量への拡張を実現する。

実験結果

リサーチクエスチョン

• RQ1 高次元モデルにおいて、グローバルおよびローカルパラメータの両方に対して誠実な推論を維持するバイアス補正機械学習推定量を構築できるか？
• RQ2 収束速度が遅い関数的量を推定する際、一様漸近的妥当性および非漸近的ガウス近似をどのように保証できるか？
• RQ3 リーマン表現子は、正則および非正則関数的量の両方に対して、Neyman直交性を達成するために果たす役割は何か？
• RQ4 平均処置効果や平均導出量などの微分や逆数推定を直接行わずに、リーマン表現子のℓ₁正則化推定が可能か？
• RQ5 モデル誤指定下でも、この手法は解釈可能性とロバスト性をどのように維持するか？

主な発見

• 提案手法は、回帰およびリーマン表現子のℓ₁正則化推定下で、DML推定量の非漸近的ガウス近似を達成し、誠実な信頼区間の構築を可能にする。
• 推定量は弱い二重スパarsityロバスト性を示す：回帰またはリーマン表現子の一方がスパースでなくても、もう一方がスパースであればロバスト性が保証される。
• ローカルパラメータに対しては、L/√n 速度（L → ∞）で漸近正規性が達成され、条件付き平均処置効果のような非正則関数的量もカバーする。
• リーマン表現子はℓ₁正則化モーメント条件により推定され、明示的な密度関数や逆傾向スコア推定を回避することで、高次元における安定性が向上する。
• 収束速度がスパarsityおよび滑らかさの仮定に依存するが、スパースでないモデル下でも遅い速度が許容される。
• 誤指定下でも、回帰関数そのものではなく、射影の線形関数的量を推定することで、解釈可能性を維持する。