[論文レビュー] A sharp multiplier inequality with applications to heavy-tailed regression problems

Qiyang Han, Jon A. Wellner|arXiv (Cornell University)|Jun 7, 2017

Statistical Methods and Inference被引用数 5

ひとこと要約

この論文は、p次モーメント（p ≥ 1）を持つ重たい尾を持つ誤差を伴う非パラメトリック回帰における最小二乗推定量（LSE）の鋭い収束速度を確立する。エントロピー条件（指数α ∈ (0,2)）のもとで、収束速度はO_P(n^{-(1/(2+α))} ∨ n^{-(1/2)+(1/(2p))}) である。p ≥ 1 + 2/αのとき、LSEはガウス誤差下の性能と同等の速度を達成するが、p < 1 + 2/αのとき、ロバスト推定量より遅くなる。誤差と説明変数の独立性に強く依存する。

ABSTRACT

We study the performance of the Least Squares Estimator (LSE) in a general nonparametric regression model, when the errors are independent of the covariates but may only have a $p$-th moment ($p\geq 1$). In such a heavy-tailed regression setting, we show that if the model satisfies a standard `entropy condition' with exponent $\alpha \in (0,2)$, then the $L_2$ loss of the LSE converges at a rate \begin{align*} \mathcal{O}_{\mathbf{P}}\big(n^{-\frac{1}{2+\alpha}} \vee n^{-\frac{1}{2}+\frac{1}{2p}}\big). \end{align*} Such a rate cannot be improved under the entropy condition alone. This rate quantifies both some positive and negative aspects of the LSE in a heavy-tailed regression setting. On the positive side, as long as the errors have $p\geq 1+2/\alpha$ moments, the $L_2$ loss of the LSE converges at the same rate as if the errors are Gaussian. On the negative side, if $p<1+2/\alpha$, there are (many) hard models at any entropy level $\alpha$ for which the $L_2$ loss of the LSE converges at a strictly slower rate than other robust estimators. The validity of the above rate relies crucially on the independence of the covariates and the errors. In fact, the $L_2$ loss of the LSE can converge arbitrarily slowly when the independence fails. The key technical ingredient is a new multiplier inequality that gives sharp bounds for the `multiplier empirical process' associated with the LSE. We further give an application to the sparse linear regression model with heavy-tailed covariates and errors to demonstrate the scope of this new inequality.

研究の動機と目的

• 誤差がサブガウス的・サブ指数的尾を持たない場合（p ≥ 1 のp次モーメントのみ保証）、非パラメトリック回帰における最小二乗推定量（LSE）の性能を分析すること。
• 標準的なエントロピー条件（指数α ∈ (0,2)）のもとで、LSEのL2損失に対する鋭い収束速度を確立すること。
• LSEがガウス誤差下と同等の最適速度を達成する条件を明確にすること、およびロバスト推定量に劣ることになる場合を特定すること。
• 導かれた収束速度が誤差と説明変数の独立性に依存することを示し、この仮定が満たされない場合、収束が任意に遅くなる可能性があることの必要性を示すこと。

提案手法

• L2リスクの重たい尾下での解析に不可欠な、LSEに関連する乗数経験過程を制御する新規の鋭い乗数不等式を導出すること。
• 非パラメトリック回帰モデルにおける関数クラスの複雑さを制御するために、指数α ∈ (0,2) のエントロピー条件を用いる。
• L2損失をバイアスとバリアンスの2成分に分解し、バリアンス項を新規の乗数不等式で制御することで、LSEのL2損失を分析する。
• 最小最大下界を確立することで、エントロピー条件のみでは導かれた収束速度を改善できないことを示す。
• 主な不等式を、重たい尾を持つ説明変数と誤差を伴うスパース線形回帰モデルに適用し、その実用的範囲とロバスト性を示す。

実験結果

リサーチクエスチョン

• RQ1 重たい尾を持つ回帰設定下で、LSEがガウス誤差下と同等の収束速度を達成する条件は何か？
• RQ2 誤差分布のモーメント数pが、LSEの収束速度とロバスト推定量との相対的性能にどのように影響を与えるか？
• RQ3 指数αのエントロピー条件がLSEのL2リスクの収束速度に果たす役割は何か？
• RQ4 LSEの収束速度は、誤差と説明変数の独立性仮定にどの程度敏感か？
• RQ5 新規の乗数不等式は、重たい尾を持つノイズを伴う高次元的・スパース回帰モデルに効果的に適用可能か？

主な発見

• エントロピー条件（指数α ∈ (0,2)）のもとで、LSEのL2損失はO_P(n^{-(1/(2+α))} ∨ n^{-(1/2)+(1/(2p))}) の速度で収束する。これは鋭く、この条件下では改善できない。
• p ≥ 1 + 2/α のとき、LSEはガウス誤差下と同等の収束速度を達成する。これはこの範囲で重たい尾に対してロバストであることを示す。
• p < 1 + 2/α のとき、任意のエントロピー水準αに対して、LSEがロバスト推定量より厳密に遅く収束するモデルが存在する。これは根本的な制限を示している。
• 誤差と説明変数の独立性が成立しない場合、導かれた収束速度は無効となり、L2損失は任意に遅く収束する可能性がある。
• 新規の乗数不等式は、重たい尾の設定下でのLSE解析に強力なツールを提供し、重たい尾を持つ説明変数と誤差を伴うスパース線形回帰モデルへの応用に成功している。