[論文レビュー] Convergence rates of least squares regression estimators with heavy-tailed errors

Qiyang Han, Jon A. Wellner|arXiv (Cornell University)|Jun 7, 2017

Statistical Methods and Inference参考文献 58被引用数 5

ひとこと要約

本稿は、$p$-次のモーメントしか持たない（$p \geq 1$）重い尾を持つ誤差を伴う非パラメトリック回帰における最小二乗推定量（LSE）の収束速度を確立する。指数 $\alpha \in (0,2)$ のエントロピー条件の下で、LSEの$L_2$予測リスクは $\mathcal{O}_\mathbf{P}(n^{-1/(2+\alpha)} \vee n^{-1/2 + 1/(2p)})$ の速度で収束する。これは $p \geq 1 + 2/\alpha$ のときガウス分布のときと同一の速度となるが、$p < 1 + 2/\alpha$ のときはロバスト推定量より遅くなる。主な技術的進展は、重い尾の下でも鋭いバインディングを可能にする、乗数過程のための新しい不等式である。

ABSTRACT

We study the performance of the Least Squares Estimator (LSE) in a general nonparametric regression model, when the errors are independent of the covariates but may only have a $p$-th moment ($p\geq 1$). In such a heavy-tailed regression setting, we show that if the model satisfies a standard `entropy condition' with exponent $α\in (0,2)$, then the $L_2$ loss of the LSE converges at a rate \begin{align*} \mathcal{O}_{\mathbf{P}}\big(n^{-\frac{1}{2+α}} \vee n^{-\frac{1}{2}+\frac{1}{2p}}\big). \end{align*} Such a rate cannot be improved under the entropy condition alone. This rate quantifies both some positive and negative aspects of the LSE in a heavy-tailed regression setting. On the positive side, as long as the errors have $p\geq 1+2/α$ moments, the $L_2$ loss of the LSE converges at the same rate as if the errors are Gaussian. On the negative side, if $p&lt;1+2/α$, there are (many) hard models at any entropy level $α$ for which the $L_2$ loss of the LSE converges at a strictly slower rate than other robust estimators. The validity of the above rate relies crucially on the independence of the covariates and the errors. In fact, the $L_2$ loss of the LSE can converge arbitrarily slowly when the independence fails. The key technical ingredient is a new multiplier inequality that gives sharp bounds for the `multiplier empirical process' associated with the LSE. We further give an application to the sparse linear regression model with heavy-tailed covariates and errors to demonstrate the scope of this new inequality.

研究の動機と目的

• 誤差がサブガウス的またはサブエクスポネンシャル的な尾を持たない、$p$-次のモーメントしか持たない（$p \geq 1$）非パラメトリック回帰における最小二乗推定量（LSE）の収束挙動を理解すること。
• LSEがガウス誤差の下での収束速度と同等の速度を達成する条件、およびロバスト推定量に劣る状況を特定すること。
• 重い尾を持つ誤差の下で乗数過程のための鋭いバインディングを可能にする、新たな技術的ツール（鋭い乗数不等式）を構築すること。
• LSEの収束速度が関数族のエントロピー指数 $\alpha$ と誤差のモーメント $p$ の間の相互作用に依存することを確立し、臨界閾値 $p = 1 + 2/\alpha$ を特定すること。

提案手法

• 重い尾を持つ誤差の下で乗数過程のための鋭いバインディングを提供する、新たな乗数不等式を導出。これにより、LSEリスク分解における確率的項の制御が可能になる。
• エントロピー積分法と対称化の手続きを組み合わせ、関数族 $\mathcal{F}$ によってインデックス付けられた確率過程の期待値の上界を評価する。
• 被覆数条件 $\log \mathcal{N}(\varepsilon, \mathcal{F}, L_2(Q)) \lesssim \varepsilon^{-\alpha}$（$\alpha \in (0,2)$）を用いたチェインジングの手続きにより、関数族の複雑さを定量化する。
• エントロピー条件によるバイアスと誤差の $p$-次のモーメントによるバリアンスのバランスを取ることで、$L_2$予測リスク $\|\hat{f}_n - f_0\|_{L_2(P)}$ の鋭い収束速度を確立する。
• スパース線形回帰モデルに主な不等式を適用し、本手法の広範な適用可能性を示す。
• 誤差 $\xi_i$ による確率過程の期待値と、$\varepsilon_i$ を含むラダマッハ・ハイパースペース型項との関係を確立するため、対称化および非対称化の技術を用いる。これによりモーメントバインディングが可能になる。

実験結果

リサーチクエスチョン

• RQ1 誤差が $p$-次のモーメントしか持たない（$p \geq 1$）非パラメトリック回帰におけるLSEの収束速度を決定づける要因は何か？
• RQ2 LSEがサブガウス的誤差の下で達成される速度と同等の速度を達成する条件は何か？ また、その条件を満たさない場合はどうなるか？
• RQ3 関数族のエントロピー指数 $\alpha$ と誤差のモーメント $p$ の相互作用が、LSEの収束速度にどのように影響を与えるか？
• RQ4 重い尾を持つ誤差の下で乗数過程を扱える新たな乗数不等式を開発できるか？ その結果、LSEリスクバインディングにどのような影響を与えるか？
• RQ5 導出された収束速度 $\mathcal{O}_\mathbf{P}(n^{-1/(2+\alpha)} \vee n^{-1/2 + 1/(2p)})$ は鋭いか？ また、エントロピー条件のみでこれを改善できるか？

主な発見

• エントロピー条件の指数 $\alpha \in (0,2)$ と $p$-次のモーメント誤差の下で、LSEの$L_2$予測リスクは $\mathcal{O}_\mathbf{P}(n^{-1/(2+\alpha)} \vee n^{-1/2 + 1/(2p)})$ の速度で収束する。
• $p \geq 1 + 2/\alpha$ のとき、LSEはガウス誤差の下での速度 $n^{-1/(2+\alpha)}$ を達成し、重い尾に対してロバストであることが示される。
• $p < 1 + 2/\alpha$ のとき、LSEはロバスト推定量より厳密に遅く収束し、任意のエントロピー水準 $\alpha$ に対して、特定のモデルでは $n^{-1/2 + 1/(2p)}$ の速度が避けられない。
• 導出された速度は鋭く、エントロピー条件のみでは改善できない。これは、速度が達成される「ハード」モデルを構築することで示された。
• 主な技術的貢献である、重い尾を持つ誤差の下で乗数過程のための鋭いバインディングを提供する新たな乗数不等式が、収束速度解析を可能にしている。
• 説明変数と誤差の独立性が不可欠である。独立性が成り立たない場合、LSEの$L_2$損失は任意に遅く収束する可能性があり、導出された速度は無効になる。