[論文レビュー] Double/De-Biased Machine Learning Using Regularized Riesz Representers

Victor Chernozhukov, Whitney K. Newey+1 more|arXiv (Cornell University)|Feb 23, 2018

Statistical Methods and Inference被引用数 19

ひとこと要約

本稿では、正則化されたリーマン表現子を用いて、弱い正則性条件のもとで線形汎関数（平均処置効果や政策効果など）を推定する二重・デバイアス付き機械学習手法を提案する。ネイマン直交性を満たす推定方程式を構築し、回帰関数とそのリーマン表現子の両方をL1正則化推定することで、一方が密で他方が疎であっても、根n漸近正規性と半パラメトリック効率性を達成する。

ABSTRACT

We provide adaptive inference methods for linear functionals of L1-regularized linear approximations to the conditional expectation function. Examples of such functionals include average derivatives, policy effects, average treatment effects, and many others. The construction relies on building Neyman-orthogonal equations that are approximately invariant to perturbations of the nuisance parameters, including the Riesz representer for the linear functionals. We use L1-regularized methods to learn the approximations to the regression function and the Riesz representer, and construct the estimator for the linear functionals as the solution to the orthogonal estimating equations. We establish that under weak assumptions the estimator concentrates in a 1/vn neighborhood of the target with deviations controlled by the normal laws, and the estimator attains the semi-parametric efficiency bound in many cases. In particular, either the approximation to the regression function or the approximation to the Rietz representer can be “dense” as long as one of them is sufficiently “sparse”. Our main results are non-asymptotic and imply asymptotic uniform validity over large classes of models.

研究の動機と目的

• 条件付き期待値関数のL1正則化近似における線形汎関数のための適応的推論手法を開発すること。
• ネイマン直交性推定方程式を用いて、ネイズンパラメータ（リーマン表現子を含む）の摂動に対してロバストであることを保証すること。
• 弱い仮定のもとで、一方の近似（回帰関数またはリーマン表現子）が密であっても、半パラメトリック効率性と根n収束を達成すること。
• 広大なモデルクラスにわたる非漸近的集中性と漸近的一様有効性を確立すること。

提案手法

• ネイマン直交性を満たす推定方程式を構築し、ネイズンパラメータ（リーマン表現子を含む）の微小な摂動に対して近似的に不変となるようにすること。
• 回帰関数と線形汎関数のリーマン表現子の両方をL1正則化推定法で推定すること。
• 直交推定方程式の解として推定量を定義し、二重・デバイアス化によるバイアス低減を実現すること。
• リーマン表現の構造を活用して、高次元設定における線形汎関数と条件付き期待値を結びつけること。
• モデルに対する弱い正則性条件のもとで、推定量が根n収束と漸近正規性を達成することを保証すること。
• 一方の近似（回帰関数またはリーマン表現子）が密であっても、他方が十分にスパースであれば効率性を維持できることを保証すること。

実験結果

リサーチクエスチョン

• RQ1 高次元の条件付き期待値の線形汎関数に対して、根n収束と漸近正規性を維持する二重・デバイアス推定量を構築できるか？
• RQ2 直交推定方程式を用いることで、回帰関数とリーマン表現子の両方の推定誤差に対してロバスト性を確保できるか？
• RQ3 どのような条件下で推定量が高次元設定において半パラメトリック効率性を達成するか？
• RQ4 一方のネイズン成分（回帰関数またはリーマン表現子）が密であっても、他方がスパースであれば、この手法は有効に保たれるか？
• RQ5 推定量は、広大なモデルクラスにわたってどのような非漸近的集中性を示すか？

主な発見

• 提案手法の推定量は、弱い正則性条件のもとで根n収束と漸近正規性を達成し、偏差は正規分布によって制御される。
• 多くのモデルで半パラメトリック効率限界に達しており、最適な統計的性能を示している。
• 非漸近的集中結果から、高次元モデルの広大なクラスにわたる一様漸近的有効性が示唆される。
• 回帰関数またはリーマン表現子のいずれかが密であっても、他方が十分にスパースであれば、この手法は依然として効率的である。
• ネイマン直交方程式の使用により、ネイズンパラメータ（リーマン表現子を含む）の推定誤差に対してもロバスト性が保証される。
• 回帰関数とリーマン表現子の両方をL1正則化推定で構築することで、高次元における適応性が実現される。