[論文レビュー] Orthogonal Machine Learning: Power and Limitations

Lester Mackey, Vasilis Syrgkanis+1 more|arXiv (Cornell University)|Nov 1, 2017

Statistical Methods and Inference参考文献 9被引用数 8

ひとこと要約

本稿では、2次までのネイマン直交性を超える、より高い順序の直交性フレームワークを導入し、正則化パラメータの推定誤差に対するロバスト性を向上させる。k次直交性を用いることで、第一段階の推定速度を $n^{-1/4}$ から $n^{-1/(2k+2)}$ に低下させ、より弱い条件下でも有効な推論が可能になる。特に、処置残差が正規分布でない場合、部分線形回帰モデルにおける高次元の交絡要因の取り扱いが顕著に改善される。

ABSTRACT

Double machine learning provides $\sqrt{n}$-consistent estimates of parameters of interest even when high-dimensional or nonparametric nuisance parameters are estimated at an $n^{-1/4}$ rate. The key is to employ Neyman-orthogonal moment equations which are first-order insensitive to perturbations in the nuisance parameters. We show that the $n^{-1/4}$ requirement can be improved to $n^{-1/(2k+2)}$ by employing a $k$-th order notion of orthogonality that grants robustness to more complex or higher-dimensional nuisance parameters. In the partially linear regression setting popular in causal inference, we show that we can construct second-order orthogonal moments if and only if the treatment residual is not normally distributed. Our proof relies on Stein's lemma and may be of independent interest. We conclude by demonstrating the robustness benefits of an explicit doubly-orthogonal estimation procedure for treatment effect.

研究の動機と目的

• 二重機械学習における1次までのネイマン直交性の限界を解決する。これは、有効な推論のためには正則化パラメータの推定が $o(n^{-1/4})$ の速度で必要とされることを意味する。
• 正則化パラメータ推定の誤差に対してより高いロバスト性を実現するための、高次直交性の一般枠組みを構築する。
• 部分線形回帰モデルにおいて2次直交モーメントを構成できる条件を調査する。
• 処置残差が非正規分布である場合、処置効果推定における高次元的交絡要因の取り扱いがどのように改善されるかを示す。
• ステインの補題を用いて、高次直交モーメントの存在および非存在を理論的に確立する基盤を提供する。

提案手法

• 正則化パラメータのk次摂動に対して感度が低下するk次直交性の概念を導入する。
• 部分線形回帰（PLR）モデルにこのフレームワークを適用し、2次直交モーメントを構成するための条件を導出する。
• ステインの補題を用いて処置残差の分布的性質を特徴付け、残差が正規分布の場合には2次直交性が不可能であることを証明する。
• 弱い第一段階の推定速度のもとでも、漸近正規性と $√{n}$-一貫性を維持する明示的な二重直交推定手順を構築する。
• k次直交性の下で、第一段階の推定誤差が $o(n^{-1/(2k+2)})$ である限り、第二段階推定量の一致性と漸近正規性を確立する。
• スパarsity仮定を用いた高次元回帰技術（例：lasso）を活用し、実務的に必要な推定速度を達成する。

実験結果

リサーチクエスチョン

• RQ1 高次直交性は、1次までのネイマン直交性を超えて二重機械学習推定量のロバスト性を向上させ得るか？
• RQ2 部分線形回帰モデルにおいて、2次直交モーメントを構成できる条件は何か？
• RQ3 処置残差が正規分布に従う場合、高次直交モーメントを構成することは可能か？
• RQ4 直交性の次数が上昇するにつれて、第一段階の推定速度はどのように変化するか？
• RQ5 非正規の処置残差は、高次元設定における高次直交推定の実現可能性と性能にどのような影響を与えるか？

主な発見

• 部分線形回帰モデルにおいて、2次直交モーメントを構成できるのは、処置残差が正規分布に従わない場合に限る。
• 処置残差が非正規分布の場合、$√{n}$-一貫性を達成するための第一段階推定速度は、スパarsity仮定のもとで $o(n^{-1/4})$ から $o(n^{-2/3})$ に改善される。
• スパース線形正則化関数に対して、本手法は第一段階の推定誤差が $o(n^{2/3}/\log p)$ である場合に、$o(\sqrt{n}/\log p)$ に比べてより多くの関連する交絡要因を扱える。
• $n=5000$ および $p=1000$ のシミュレーション実験では、2次直交推定はほぼバイアスのない推定値（$\hat{\theta}=3.0$）と低い分散（$\hat{\sigma}=0.032$）を達成したが、標準的な直交手法では大きなバイアス（$\hat{\theta}=2.78$）が観測された。
• ステインの補題を用いて、処置残差が正規分布の場合には2次直交性が不可能であることが証明され、この場合のロバスト性に根本的な限界が存在することが示された。
• k次直交性のもとで、第一段階の推定誤差が $o(n^{-1/(2k+2)})$ である限り、第二段階推定量の理論的一致性と漸近正規性が確立された。