[論文レビュー] Robustness of shape-restricted regression estimators: an envelope perspective

Qiyang Han, Jon A. Wellner|arXiv (Cornell University)|May 7, 2018

Statistical Methods and Inference参考文献 36被引用数 7

ひとこと要約

本稿は、誤差に最小限の $L_{2,1}$ モーメント仮定が成り立つ場合に、形状制約付き最小二乗推定量（LSE）のロバストネスを特徴付けるためのエンベロープの観点を導入する。ランダム設計設定においてオракル不等式を確立し、LSEのロバストネスおよび適応性の性質が、誤差が $L_{2,1}$ モーメントを持つ場合でさえ、誤った加法的モデルにおいても保持されることを示している。

ABSTRACT

Classical least squares estimators are well-known to be robust with respect to moment assumptions concerning the error distribution in a wide variety of finite-dimensional statistical problems; generally only a second moment assumption is required for least squares estimators to maintain the same rate of convergence that they would satisfy if the errors were assumed to be Gaussian. In this paper, we give a geometric characterization of the robustness of shape-restricted least squares estimators (LSEs) to error distributions with an $L_{2,1}$ moment, in terms of the `localized envelopes' of the model. This envelope perspective gives a systematic approach to proving oracle inequalities for the LSEs in shape-restricted regression problems in the random design setting, under a minimal $L_{2,1}$ moment assumption on the errors. The canonical isotonic and convex regression models, and a more challenging additive regression model with shape constraints are studied in detail. Strikingly enough, in the additive model both the adaptation and robustness properties of the LSE can be preserved, up to error distributions with an $L_{2,1}$ moment, for estimating the shape-constrained proxy of the marginal $L_2$ projection of the true regression function. This holds essentially regardless of whether or not the additive model structure is correctly specified. The new envelope perspective goes beyond shape constrained models. Indeed, at a general level, the localized envelopes give a sharp characterization of the convergence rate of the $L_2$ loss of the LSE between the worst-case rate as suggested by the recent work of the authors [25], and the best possible parametric rate.

研究の動機と目的

• 形状制約付きLSEの重い尾を持つ誤差分布へのロバストネスを分析するための幾何的枠組みを構築すること。
• 最小限のモーメント仮定、特に $L_{2,1}$-モーメント誤差の下で、ランダム設計設定におけるLSEのオラクル不等式を確立すること。
• モデルが誤って指定されている場合でも、LSEの適応性およびロバストネスの性質が加法的モデルにおいて保持されるかどうかを調査すること。
• ロバストネスと適応性をLSEの独立した性質として形式化すること。ロバストネスは誤差モーメント条件によって定義され、適応性は滑らかさの下での収束速度によって定義される。
• LSEの $L_2$ 損失の収束速度を鋭く特徴付けること。これは、局所的エンベロープを用いて、最悪ケースレートとパラメトリックレートの間で有界化される。

提案手法

• 形状制約付きモデルにおけるLSEの挙動を分析する幾何的道具として「局所的エンベロープ」の概念を導入する。
• エンベロープに基づく議論を用いて、単調回帰および凸回帰、および形状制約付き加法的モデルの両方におけるオラクル不等式を導出する。
• 大数の法則と尾確率のバウンドを用いて、コンパクト区間上での推定量の上界および下界を制御する。
• 最小二乗性の性質を用いた背理法を採用する：推定量が大きすぎるほどに逸脱すれば、実現リスクは劣悪なモデルのそれより大きくなるはずである。
• 定数モデルとの比較により、推定量がコンパクト集合上でほとんど確実に有界であることを確立する。
• 背理法とモーメント制御を用いて、$L_{2,1}$-モーメント誤差下でも推定量が確率的に一様に有界であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 誤差に $L_{2,1}$-モーメント仮定しか成り立たない場合でも、形状制約付きLSEのロバストネスを特徴付けることは可能か？（特に、サブガウス型やサブ指数的尾部ではなく。）
• RQ2 モデルが誤って指定されている場合でも、形状制約付き加法的モデルにおけるLSEの適応性およびロバストネスの性質は、どの程度保持されるか？
• RQ3 局所的エンベロープは、最悪ケースレート $ ilde{O}(n^{-1/(2+eta)})$ とパラメトリックレート $ ilde{O}(n^{-1/2})$ の間のギャップを埋めるように、LSEの $L_2$ 損失の収束速度をどのように鋭く特徴付けるか？
• RQ4 エンベロープの観点は、形状制約付きモデルを超えて、より広い非パラメトリックモデルのクラスにおけるLSEの収束速度を特徴付けるために一般化可能か？
• RQ5 モデルの複雑さ（エントロピー条件を介して）と、ガウス誤差下での収束速度を維持するために必要な誤差モーメント条件との間の正確な関係は何か？

主な発見

• 形状制約付き回帰におけるLSEは $L_{2,1}$-ロバストである：モデルが指数 $eta \neq 2$ のエントロピー条件を満たす限り、$L_{2,1}$-モーメント誤差下でも、サブガウス誤差下と同一の収束速度を達成する。
• 単調回帰および凸回帰において、誤差の2次のモーメント仮定のみでLSEの $L_2$ 損失は $ ilde{O}(n^{-1/3})$ のレートで収束し、これは最悪ケースのミニマックスレートと一致する。
• 形状制約付き加法的モデルにおいて、加法的構造が誤って指定されていようとも、LSEは真の信号を、真の関数の形状制約付きプロキシへの $L_2$-射影に適応する。
• 局所的エンベロープフレームワークにより、LSEの $L_2$ 損失の収束速度が鋭く特徴付けられる。これは、モデルの複雑さと誤差モーメントに応じて、最悪ケースレート $ ilde{O}(n^{-1/(2+eta)})$ とパラメトリックレート $ ilde{O}(n^{-1/2})$ の間で有界化される。
• 確率1で、推定量はコンパクト集合上で一様に有界のままである。これは、定数モデルとの比較による実現リスクの制御によって達成される。
• エンベロープ法により、真の信号が有界な領域では推定量が発散できないことが証明される。なぜなら、そのような発散は最小二乗性の性質に反するからである。