[論文レビュー] Sparse Nonlinear Regression: Parameter Estimation and Asymptotic Inference

Zhuoran Yang, Zhaoran Wang+3 more|arXiv (Cornell University)|Nov 14, 2015

Statistical Methods and Inference参考文献 66被引用数 31

ひとこと要約

本稿では、非線形リンク関数 f による非凸最適化を伴うスパース非線形回帰の ℓ1-正則化最小二乗推定量を提案する。非凸性にもかかわらず、任意の停留点が最適な統計的収束速度に達することを証明し、収束保証付きの勾配ベースのアルゴリズムを提供する。主な貢献は、高次元 β∗ の低次元成分に対する有効な漸近的推論（信頼区間や仮説検定を含む）の確立である。

ABSTRACT

We study parameter estimation and asymptotic inference for sparse nonlinear regression. More specifically, we assume the data are given by $y = f( x^ op β^* ) + ε$, where $f$ is nonlinear. To recover $β^*$, we propose an $\ell_1$-regularized least-squares estimator. Unlike classical linear regression, the corresponding optimization problem is nonconvex because of the nonlinearity of $f$. In spite of the nonconvexity, we prove that under mild conditions, every stationary point of the objective enjoys an optimal statistical rate of convergence. In addition, we provide an efficient algorithm that provably converges to a stationary point. We also access the uncertainty of the obtained estimator. Specifically, based on any stationary point of the objective, we construct valid hypothesis tests and confidence intervals for the low dimensional components of the high-dimensional parameter $β^*$. Detailed numerical results are provided to back up our theory.

研究の動機と目的

• 未知の β∗ と既知の非線形リンク関数 f を持つ y = f(x⊤β∗) + ϵ という高次元スパース非線形回帰におけるパラメータ推定を扱う。
• 非線形性 f による ℓ1-正則化最小二乗問題の非凸最適化の課題を克服する。これは、グローバル最適性を保証できない。
• 非凸目的関数の任意の停留点に対して、最適な統計的収束速度を確立する。
• 停留点に収束することが保証される効率的な勾配ベースのアルゴリズムを開発する。
• 高次元パラメータ β∗ の低次元成分に対する有効な漸近的推論（信頼区間や仮説検定を含む）を提供する。

提案手法

• 非凸最適化問題を提案：β∗ を推定するための (1/n)∑(yi − f(xi⊤β))² + λ∥β∥₁ の最小化。
• 勾配降下法とソフトサブトラクションを組み合わせた勾配ベースの反復アルゴリズムを用い、非線形設定への ISTA の一般化を実現する。
• ややいなごうな正則性条件の下で、アルゴリズムが停留点に収束することを理論的に確立する。
• 制限固有値およびヘッセ安定性条件を活用して推定誤差を制御し、一貫性を保証する。
• 停留点の漸近的分布を用いて、個々の成分 β∗j の信頼区間および仮説検定を構築する。
• ホルダーの不等式および三角不等式を用いて、高次元設定における推定誤差および勾配偏差項をバインドする。

実験結果

リサーチクエスチョン

• RQ1 非線形リンク関数 f によって目的関数が非凸となるスパース非線形回帰において、最適な統計的収束速度を達成できるか？
• RQ2 非凸 ℓ1-正則化最小二乗問題の停留点に収束することが保証される効率的なアルゴリズムを設計できるか？
• RQ3 高次元スパースパラメータ β∗ の低次元成分に対して、信頼区間や仮説検定を含む有効な漸近的推論が可能か？
• RQ4 スパースネスレベル s∗、標本サイズ n、次元 d が非線形スパース回帰における収束速度にどのように依存するか？
• RQ5 高次元非線形モデルにおける一貫性のある推定と推論を保証するための、設計行列およびリンク関数 f に必要な条件は何か？

主な発見

• 非凸 ℓ1-正則化最小二乗目的関数の任意の停留点は、高確率で最適な統計的収束速度に達する：‖β̂ − β∗‖₂ ≤ C₁ · √(s∗log d / n)。
• ℓ1 誤差バインドについても最適である：‖β̂ − β∗‖₁ ≤ C₂ · s∗√(log d / n)，ここで C₁, C₂ は n, d, s∗ に依存しない絶対定数。
• 推定誤差が消えるための必要な標本サイズは n = O(s∗log d) であり、線形スパース回復における最小標本サイズと一致する。
• 効率的な勾配ベースのアルゴリズムが提案され、停留点に収束することが証明された。これは非線形設定への ISTA の一般化である。
• 個々の成分 β∗j に対する有効な信頼区間および仮説検定が構築され、ヘッセ安定性および収束条件の下で理論的保証が得られる。
• 推定量の漸近的分布を用いることで、高次元設定下でも低次元成分の推論が可能になる。これは f および設計行列に関するややいなごうな正則性条件の下で成立する。