[論文レビュー] Learning L2 Continuous Regression Functionals via Regularized Riesz Representers

Victor Chernozhukov, Whitney K. Newey+1 more|arXiv (Cornell University)|Sep 14, 2018

Statistical Methods and Inference参考文献 34被引用数 33

ひとこと要約

本稿では、L2連続回帰機能的におけるリーマン表現子（RR）を学習するためのlassoおよびDantzig選択子手法を提案し、デバイアスドマシンラーニング（DML）を用いたアフィンおよび非線形機能的のroot-n一貫性および漸近正規推定を可能にする。主な貢献は、収束が遅い回帰学習者を許容しつつも、新たな漸近的分散推定器により有効な推論を維持する、頑健なフレームワークを提供することにある。

ABSTRACT

Many objects of interest can be expressed as an L2 continuous functional of a regression, including average treatment effects, economic average consumer surplus, expected conditional covariances, and discrete choice parameters that depend on expectations. Debiased machine learning (DML) of these objects requires a learning a Riesz representer (RR). We provide here Lasso and Dantzig learners of the RR and corresponding learners of affine and other nonlinear functionals. We give an asymptotic variance estimator for DML. We allow for a wide variety of regression learners that can converge at relatively slow rates. We give conditions for root-n consistency and asymptotic normality of the functional learner. We give results for non affine functionals in addition to affine functionals.

研究の動機と目的

• 複雑な統計的対象のデバイアスドマシンラーニング（DML）に不可欠な、L2連続機能的におけるリーマン表現子（RR）を学習する信頼性のある手法を開発すること。
• 回帰学習者の収束が遅くても、機能的推定子のroot-n一貫性および漸近正規性を実現すること。
• 期待条件付き共分散や期待値に依存する離散的選択パラメータなどの非アフィン機能的へDMLを拡張すること。
• 回帰学習者の正則性条件が弱い場合でも、DMLのための有効な漸近的分散推定器を提供すること。
• 高次元または非パラメトリックな回帰推定器を機能的推定に使用する際の頑健性と理論的妥当性を保証すること。

提案手法

• L2空間における機能的のリーマン表現子（RR）を推定するためのlassoおよびDantzig選択子手法を提案し、スパarsityと正則化を活用する。
• リーマン表現子を用いて、回帰学習者の収束率が弱くても漸近正規性を達成できるデバイアスド推定子を構築する。
• RRおよび回帰成分の推定誤差を考慮した、DMLのための新たな漸近的分散推定器を導出する。
• 回帰学習者の収束が遅くても、機能的推定子がroot-n一貫性および漸近正規性を達成するための条件を確立する。
• 平均処置効果や期待条件付き共分散などのアフィンおよび非線形機能的へフレームワークを適用する。
• RRの推定と機能的の推定を分離するデュアル/デバイアスド推定戦略を採用し、バイアスを低減し、有効な推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 lassoおよびDantzig選択子は、高次元または非パラメトリックな設定において、リーマン表現子を信頼性を持って推定できるか？
• RQ2 回帰学習者の収束が遅い場合、機能的推定子がroot-n一貫性および漸近正規性を達成するための条件は何か？
• RQ3 特に正則性仮定が弱い場合に、L2連続機能的におけるDMLのための有効な漸近的分散推定はどのように達成できるか？
• RQ4 本フレームワークは、期待条件付き共分散や離散的選択パラメータなどの非線形機能的へ拡張可能か？
• RQ5 リーマン表現子の推定誤差が存在しても、機能的のデバイアスド推定子が漸近正規性を維持するための理論的条件は何か？

主な発見

• 適切なスパarsityおよび収束率条件の下で、リーマン表現子のlassoおよびDantzig選択子手法は、回帰学習者の収束が遅くてもroot-n一貫性を達成する。
• 本稿で提案されたDMLのための漸近的分散推定器は、有効かつ頑健であり、高次元および非パラメトリックな設定でも正しい推論を可能にする。
• 本フレームワークにより、平均処置効果や期待条件付き共分散などのアフィンおよび非線形機能的について、漸近正規性およびroot-n一貫性が達成される。
• 回帰学習者の正則性条件が弱くても、理論的妥当性が保たれ、高速収束推定器に限らない応用範囲が広がる。
• 理論的結果として、機能的のデバイアスド推定子が漸近正規であることが確立され、信頼区間や仮説検定が可能になる。
• 本手法により、期待値に依存する離散的選択パラメータなどの複雑な統計的対象の推論が可能になり、DMLの適用範囲が拡張される。