[論文レビュー] Regularized Orthogonal Machine Learning for Nonlinear Semiparametric Models

Denis Nekipelov, Vira Semenova+1 more|arXiv (Cornell University)|Jun 13, 2018

Advanced Causal Inference Techniques参考文献 40被引用数 6

ひとこと要約

本稿は、条件付きモーメント制約（CMRs）を伴う非線形半パラメトリックモデルにおける高次元スパースパラメータのラッソ型推定量を導入する。Neyman直交損失関数を用いることで、ヌイアンス関数の第一段階推定バイアスに対してロバスト性を確保する。損失関数を推定誤差に対して直交するように調整することにより、機械学習ツールが高次元ヌイアンス成分（例：介入確率や条件付き選択確率）を推定する場合でも、有効な推論が可能になる。この方法により、真のヌイアンス関数が未知であり正則化で推定される場合でも、オラクルレートの収束が達成される。

ABSTRACT

This paper proposes a Lasso-type estimator for a high-dimensional sparse parameter identified by a single index conditional moment restriction (CMR). In addition to this parameter, the moment function can also depend on a nuisance function, such as the propensity score or the conditional choice probability, which we estimate by modern machine learning tools. We first adjust the moment function so that the gradient of the future loss function is insensitive (formally, Neyman-orthogonal) with respect to the first-stage regularization bias, preserving the single index property. We then take the loss function to be an indefinite integral of the adjusted moment function with respect to the single index. The proposed Lasso estimator converges at the oracle rate, where the oracle knows the nuisance function and solves only the parametric problem. We demonstrate our method by estimating the short-term heterogeneous impact of Connecticut's Jobs First welfare reform experiment on women's welfare participation decision.

研究の動機と目的

• 半パラメトリックモデルにおいて、単一インデックス条件付きモーメント制約（CMRs）によって特定されるパラメータの高次元スパース推定手法を開発すること。
• 機械学習を用いた推定において、介入確率や条件付き選択確率などの高次元ヌイアンス関数からの推定バイアスの課題に対処すること。
• 真のヌイアンス関数が未知であり正則化で推定される場合でも、推定量がオラクルレートの収束を達成することを保証すること。
• ラッソ推定量が直交化損失関数に基づいて、ℓ₁制限パrameter球上で一様収束および√n漸近正規性を達成する理論的条件を確立すること。
• 部分線形ロジスティックモデルおよび異質的処置効果を伴う欠損データモデルへの応用を通じて、本手法の実用的有用性を示すこと。

提案手法

• 損失関数を、調整済みモーメント関数を単一インデックスに関して不定積分することで構築する。これにより単一インデックス構造を保持するとともに、直交性を確保する。
• モーメント関数に対してNeyman直交化手順を適用し、損失関数の勾配がヌイアンス関数推定における第一段階の正則化バイアスに感応しないようにする。
• 調整済みモーメント関数は、単一インデックス性を維持するとともに、損失関数の勾配がヌイアンス成分（例：p(x), q(x), V(d,x)）の摂動に対して直交するように導出される。
• 得られた損失関数に対してラッソ推定量を適用し、ℓ₁正則化により高次元パラメーターベクトルのスパarsityを強制する。
• 機械学習における一般化誤差境界を拡張し、ややいなごろしの正則性およびスパarsity条件の下で理論的保証を導出する。
• 本手法は、部分線形ロジスティックモデル、欠損データモデル、不完全情報の静的ゲームの3つの設定で検証され、オラクル収束のための十分条件が提示される。

実験結果

リサーチクエスチョン

• RQ1 条件付きモーメント制約と高次元ヌイアンス関数を伴う高次元半パラメトリックモデルにおいて、ラッソ型推定量がオラクルレートの収束を達成できるか？
• RQ2 ヌイアンス成分の推定バイアスがパrameter推定量の漸近分布に影響しないように、損失関数をどのように変更できるか？
• RQ3 直交化損失関数に基づくラッソ推定量が、ℓ₁制限パrameter球上で一様収束を達成する条件は何か？
• RQ4 勾配の直交性と推論の有効性を保証するための、ヌイアンス関数推定量の十分な原始的条件は何か？
• RQ5 本手法は、政策実験における異質的処置効果推定などの実世界の因果推論問題に応用可能か？

主な発見

• 提案されたラッソ推定量は、ややいなごろしの正則性およびスパarsity条件の下で、真のヌイアンス関数が既知である場合と同等のオラクルレートで収束する。
• モーメント関数の直交化により、損失関数の勾配がヌイアンス関数の1次摂動に対して感度が低くなる。これにより、高次元推定バイアスが存在する場合でも有効な推論が可能になる。
• コネチカット州のジョブズファースト福祉改革への実応用において、本手法は福祉参加への異質的処置効果を的確に検出できた。結果は、直交損失関数が信頼性のある推論に不可欠であることを示している。
• 理論的分析により、調整済みモーメント関数の不定積分に基づく損失関数は、凸ケースにおいてℓ₁正則化M推定量のグローバル収束を保証することが確認された（Negahbanら, 2012に準拠）。
• 部分線形ロジスティックモデルおよび欠損データモデルにおいて、標本モーメントがℓ₁制限集合上で母集団モーメントに一様収束することを示し、一般化誤差境界を単一インデックスCMRsに拡張した。
• ヌイアンス関数推定量（例：p(x), q(x), V(d,x)）の収束レートが、√(log p / n)および推定誤差率πₙ, qₙを含む項で有界であることが示され、全体のレート保証に組み込まれた。