[論文レビュー] Minimax Semiparametric Learning With Approximate Sparsity

Jelena Bradić, Victor Chernozhukov+2 more|arXiv (Cornell University)|Dec 27, 2019

Statistical Methods and Inference被引用数 4

ひとこと要約

この論文は、Lassoに基づく推定とクロスフィットを用いたデバイアス付き機械学習により、高次元で近似的にスパースな回帰関数形（回帰係数、平均勾配、平均処置効果など）の根n一貫推定のミニマックス最適な条件を確立している。主な貢献は、最小限の近似的スパース性（$\xi_1 > 1/2$）またはレート二重ロバスト性（$\xi_1\xi_2 > 1/4$）の下で根n一貫性が達成可能であることを示したことであり、未知の最良の回帰子集合を想定したより広範な条件下に先行研究を拡張している。

ABSTRACT

Estimating linear, mean-square continuous functionals is a pivotal challenge in statistics. In high-dimensional contexts, this estimation is often performed under the assumption of exact model sparsity, meaning that only a small number of parameters are precisely non-zero. This excludes models where linear formulations only approximate the underlying data distribution, such as nonparametric regression methods that use basis expansion such as splines, kernel methods or polynomial regressions. Many recent methods for root-$n$ estimation have been proposed, but the implications of exact model sparsity remain largely unexplored. In particular, minimax optimality for models that are not exactly sparse has not yet been developed. This paper formalizes the concept of approximate sparsity through classical semi-parametric theory. We derive minimax rates under this formulation for a regression slope and an average derivative, finding these bounds to be substantially larger than those in low-dimensional, semi-parametric settings. We identify several new phenomena. We discover new regimes where rate double robustness does not hold, yet root-$n$ estimation is still possible. In these settings, we propose an estimator that achieves minimax optimal rates. Our findings further reveal distinct optimality boundaries for ordered versus unordered nonparametric regression estimation.

研究の動機と目的

• 高次元で近似的にスパースな回帰モデルにおける線形かつ平均二乗連続な関数形の根n一貫推定の必要十分条件を確立すること。
• 従来の知られている条件よりも弱くより一般的な条件下で、根n一貫性を達成するように既存のデバイアス付き機械学習推定量を拡張すること。
• 近似的スパース性の役割が、最良の回帰子の特定が不明な場合に根n推定の可能性をどのように決定するかを明確にすること。
• 正規分布でない誤差や異分散性を含む最小限の仮定の下でも根n一貫性を維持する推定量を開発すること。
• Riesz表現子のスパース性レート（$\xi_2$）が、$\xi_2 > 1/2$ の場合にのみ根n一貫性を保証できることを示すこと、特に回帰が密であっても成立する。

提案手法

• Lassoによる回帰とバイアス補正を用いたデバイアス付き機械学習推定量を提案し、漸近正規性を保証するための特別なクロスフィットを導入する。
• 2段階推定手順を採用：まずLassoで回帰関数 $\rho_0$ を推定し、次にインパクト関数に対するLassoでRiesz表現子 $\alpha_0$ を推定する。
• 分割した標本を用いたクロスフィットにより推定と推定誤差を分離し、最終推定量のバイアスを低減する。
• 推定されたRiesz表現子の $L_1$-ノルムを制御するための切断作用素 $\tau_n$ を適用し、安定性を確保する。
• 回帰およびRiesz表現子の両方のスパース近似レート $s^{-\xi}$ を用いて推定誤差の理論的バウンドを導出する。
• 最小限の条件下で漸近正規性および一貫した分散推定を確立し、$\xi_1 > 1/2$ または $\xi_1\xi_2 > 1/4$ を満たす。

実験結果

リサーチクエスチョン

• RQ1 高次元モデルにおける回帰係数や平均勾配の根n一貫推定が可能となる、スパース近似レート $\xi_1$ および $\xi_2$ の最小限の条件は何か？
• RQ2 最良の $s$ 個の回帰子の特定が不明な場合と既知な場合とで、根n推定の可能性はどのように変化するか？
• RQ3 $\xi_1\xi_2 > 1/4$ のレート二重ロバスト性条件下で、$\xi_1 > 1/2$ を要件としない根n一貫性が達成可能か？
• RQ4 回帰が密（$\xi_1 \leq 1/2$）であるがRiesz表現子がスパース（$\xi_2 > 1/2$）である場合に、根n一貫性を達成可能か？
• RQ5 クロスフィットと切断作用素が、高次元半パラメトリックモデルにおける根n一貫性および漸近正規性を保証するために果たす役割は何か？

主な発見

• 回帰係数や平均勾配の根n一貫推定の必要十分条件は $\max\{\xi_1, \xi_2\} > 1/2$ であり、これは既知の回帰子の場合よりも強い条件である。
• 回帰が密であっても、Riesz表現子が十分にスパースであれば、最小限の条件 $\xi_1 > 1/2$ の下で根n一貫性が達成可能である。
• レート二重ロバスト性条件 $\xi_1\xi_2 > 1/4$ は根n一貫性を保証するのに十分であり、従来の条件よりも広範な適用可能性を有する。
• クロスフィットを含まない推定量は、$\xi_1 > 1/2$ に加え、$\bar{\tau}_n \to \infty$ および $\|\rho_n - \rho_0\|_2 \to 0$ の追加の正則性条件を満たせば根n一貫性を達成し、分散の一貫性推定も可能である。
• 図1の既知の回帰子と未知の回帰子の条件における乖離は、最良の回帰子が未知の状況では推定が厳しくなることを明確に示している。
• 提案された推定量は、最小限のスパース性仮定の下で漸近正規性 $\sqrt{n}(\hat{\theta} - \theta_0) \overset{d}{\longrightarrow} N(0, V)$ および一貫した分散推定を達成する。