[論文レビュー] Asymptotic behavior of unregularized and ridge-regularized high-dimensional robust regression estimators : rigorous results

Noureddine El Karoui|arXiv (Cornell University)|Nov 11, 2013

Sparse and Compressive Sensing Techniques参考文献 25被引用数 85

ひとこと要約

本稿は、$ p/n \to c \in (0, \infty) $ の設定において、高次元ロバスト回帰推定量（正則化なしおよびリッジ正則化あり）の漸近的挙動を厳密に確立する。ランダム行列理論、濃縮測度、凸解析の道具を用いて、推定量の極限分布が比 $ p/n $ に依存することを証明し、非ガウス型デザインに対しても、以前の確率的ヒューリスティクスを形式的な数学的根拠で裏付ける。

ABSTRACT

We study the behavior of high-dimensional robust regression estimators in the asymptotic regime where $p/n$ tends to a finite non-zero limit. More specifically, we study ridge-regularized estimators, i.e $\widehatβ= ext{argmin}_{β\in \mathbb{R}^p} \frac{1}{n}\sum_{i=1}^n ρ(\varepsilon_i-X_i' β)+\fracτ{2}\lVertβ Vert^2$. In a recently published paper, we had developed with collaborators probabilistic heuristics to understand the asymptotic behavior of $\widehatβ$. We give here a rigorous proof, properly justifying all the arguments we had given in that paper. Our proof is based on the probabilistic heuristics we had developed, and hence ideas from random matrix theory, measure concentration and convex analysis. While most the work is done for $τ>0$, we show that under some extra assumptions on $ρ$, it is possible to recover the case $τ=0$ as a limiting case. We require that the $X_i$'s be i.i.d with independent entries, but our proof handles the case where these entries are not Gaussian. A 2-week old paper of Donoho and Montanari [arXiv:1310.7320] studied a similar problem by a different method and with a different point of view. At this point, their interesting approach requires Gaussianity of the design matrix.

研究の動機と目的

• 高次元ロバスト回帰推定量の、$ p/n \to c \in (0, \infty) $ の設定において、以前に提案された確率的ヒューリスティクスを厳密に正当化すること。
• 一般の i.i.d. デザイン行列（非ガウス型エントリを含む）のもとでのリッジ正則化 M-推定量の漸近的挙動を確立すること。
• 損失関数 $ \rho $ に追加の正則性仮定を課したもとで、正則化なしのケース（$ \tau = 0 $）をリッジ正則化されたケースの極限として回復できることを示すこと。
• 以前のヒューリスティカルな解析から生じた変分問題の定式化に、形式的な数学的基盤を提供すること。
• 古典的固定-$ p $ 漸近論とは対照的に、推定量の極限的挙動が次元比 $ p/n $ に非自明に依存することを示すこと。

提案手法

• 推定量の高次元的挙動を分析するために、リーブ・ワン・アウトおよびマルティンググール技法を用いる。
• 二次形式のフラクチュエーションを制御するため、濃縮測度およびランダム行列理論を用いる。
• 最適化問題の解を部分勾配条件を用いて特徴付けるために、プロキシマル写像フレームワークを適用する。
• 誤差の分布と損失関数 $ \rho $ に基づいて、推定量の漸近的挙動を特徴付ける重要な変分問題を導出する。
• 正則化された精度行列のトレースを分析するために、Sherman-Morrison-Woodbury 公式およびブロック行列の逆行列を用いる。
• 漸近的特徴付けに現れる臨界方程式 $ F(x) = 0 $ の解の存在および一意性を確立する。

実験結果

リサーチクエスチョン

• RQ1 リッジ正則化を施したロバスト回帰推定量の漸近的分布は、高次元的設定において比 $ p/n $ にどのように依存するか？
• RQ2 先行研究の確率的ヒューリスティクスは、ランダム行列理論および濃縮測度の厳密な道具を用いて形式的に正当化可能か？
• RQ3 損失関数 $ \rho $ と誤差分布にどのような条件を課すと、正則化なしのケース（$ \tau = 0 $）がリッジ正則化されたケースの極限として回復可能か？
• RQ4 結果はガウス型デザイン行列を越えてどの程度一般化可能か？非ガウス型 i.i.d. エントリに対してはどのような仮定が必要か？
• RQ5 推定量の極限的挙動は、損失関数 $ \rho $ のプロキシマル写像とどのように関係するか？誤差分布はどのような役割を果たすか？

主な発見

• リッジ正則化推定量の極限的挙動は、$ \rho $ のプロキシマル写像を含む変分問題の解に依存し、これは $ p/n $ に非自明に依存する。
• 本稿は、誤差の累積分布関数と損失関数 $ \rho $ を含む決定的方程式の解によって、推定量の漸近的分布が特徴付けられることを厳密に証明する。
• 非ガウス型 i.i.d. デザイン行列に対しても、弱いモーメントおよび尾部条件のもとで極限的挙動は依然として取り扱えることが示され、先行研究のガウス仮定を越えて一般化される。
• 損失関数 $ \rho $ に追加の滑らかさおよび対称性仮定を課すと、正則化なしのケース（$ \tau = 0 $）はリッジ正則化推定量の極限として回復可能である。
• 正則化された精度行列のトレースは、$ p/n $ に依存する決定的極限に収束し、行列の逆行列恒等式を用いて明示的な境界が得られる。
• 漸近的挙動を支配する方程式 $ F(x) = 0 $ の解は、誤差密度および損失関数 $ \rho $ にややの正則性条件が課されれば一意である。