[論文レビュー] A Statistical Learning Assessment of Huber Regression

Yunlong Feng, Qiang Wu|arXiv (Cornell University)|Sep 27, 2020

Advanced Statistical Methods and Models参考文献 24被引用数 5

ひとこと要約

本稿は、Huber回帰の包括的な統計的学習解析を提供し、適応的スケールパラメータを用いることで、(1+ε)-モーメント条件（ε > 0）のもとで、誤差の分散が無限大であっても、漸近的平均回帰キャリブレーションおよび確率的ほぼsure収束を達成することを示している。研究では、ロバストな収束速度を確立し、重い尾を持つ設定下でのHuber回帰の理論的優位性を裏付けた。

ABSTRACT

As one of the triumphs and milestones of robust statistics, Huber regression plays an important role in robust inference and estimation. It has also been finding a great variety of applications in machine learning. In a parametric setup, it has been extensively studied. However, in the statistical learning context where a function is typically learned in a nonparametric way, there is still a lack of theoretical understanding of how Huber regression estimators learn the conditional mean function and why it works in the absence of light-tailed noise assumptions. To address these fundamental questions, we conduct an assessment of Huber regression from a statistical learning viewpoint. First, we show that the usual risk consistency property of Huber regression estimators, which is usually pursued in machine learning, cannot guarantee their learnability in mean regression. Second, we argue that Huber regression should be implemented in an adaptive way to perform mean regression, implying that one needs to tune the scale parameter in accordance with the sample size and the moment condition of the noise. Third, with an adaptive choice of the scale parameter, we demonstrate that Huber regression estimators can be asymptotic mean regression calibrated under $(1+ε)$-moment conditions ($ε>0$). Last but not least, under the same moment conditions, we establish almost sure convergence rates for Huber regression estimators. Note that the $(1+ε)$-moment conditions accommodate the special case where the response variable possesses infinite variance and so the established convergence rates justify the robustness feature of Huber regression estimators. In the above senses, the present study provides a systematic statistical learning assessment of Huber regression estimators and justifies their merits in terms of robustness from a theoretical viewpoint.

研究の動機と目的

• 非パラメトリック統計的学習設定下におけるHuber回帰の理論的理解の不足に応えること、特に弱いモーメント条件のもとで条件付き平均関数を推定できるかについて。
• Huber推定量のリスク一貫性が、誤差分布が重い尾を持つ場合に平均回帰における学習可能性を示すかを調査すること。
• 平均回帰におけるバイアスとロバストネスのバランスを最適化するためのHuber損失スケールパラメータσの最適チューニング戦略を特定すること。
• 最小限のモーメント仮定のもとで、Huber回帰推定量の確率的ほぼsure収束速度を確立すること。
• 統計的学習の観点から、Huber回帰のロバストネスを理論的に裏付けること。特に、(1+ε)-モーメント条件（ε > 0）のもと、無限分散のケースを含む。

提案手法

• Huber損失関数ℓσ(t)を用いた経験的リスク最小化（ERM）によりHuber回帰を分析。この損失関数はスケールパラメータσに応じて2次的および線形的挙動を併せ持つ。
• 標本サイズnと誤差分布のモーメント条件に依存する適応的σの選択を導入し、バイアス制御と学習可能性を保証する。
• 一般の仮説空間H ⊂ C(X)を採用し、学習性能の評価に一般化誤差Rσ(f) = E[ℓσ(Y − f(X))]を用いる。
• 集中不等式と逸脱バウンドを適用し、推定量f_z,σと真の条件付き平均f*との間のL2誤差に対する高確率的上界を導出する。
• 標準的なBernstein条件の緩和を用い、より重い尾を持つ状況にも対応可能にし、(1+ε)-モーメント条件のもとで高速収束速度の導出を可能にする。
• チェイングの議論とメトリックエントロピー技術を用い、仮説空間の複雑さを制御し、近似誤差とスケールパラメータの観点から収束速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 Rσの意味でのHuber回帰推定量のリスク一貫性は、真の条件付き平均関数f*への収束を保証するか？
• RQ2 平均回帰関数の一貫性推定を保証するためのHuber損失スケールパラメータσの最適チューニング戦略は何か？
• RQ3 誤差に(1+ε)-モーメント条件（ε > 0）が成り立つような弱いモーメント条件下でも、Huber回帰推定量は高速収束速度を達成できるか？
• RQ4 Huber回帰は、無限分散を含む重い尾を持つ誤差分布に対してもロバストであるか？そのロバストネスは統計的学習枠組みで理論的に裏付けられるか？
• RQ5 非パラメトリック学習設定下で、バイアス、分散、ロバストネスの相互作用はどのように現れるか？

主な発見

• Rσの意味でのHuber回帰推定量のリスク一貫性は、真の条件付き平均関数f*への収束を保証するものではない。
• Huber回帰は、標本サイズと誤差のモーメント条件に応じたσの適応的チューニングを実装することで、平均回帰における学習可能性を確保しなければならない。
• (1+ε)-モーメント条件（ε > 0）のもとで、応答変数の分散が無限大であっても、Huber回帰推定量は漸近的平均回帰キャリブレーションを達成する。
• 適応的σの選択のもとで、本稿はHuber回帰推定量の確率的ほぼsure収束速度を確立した。この収束速度は重い尾を持つ誤差に対してロバストである。
• 古典的仮定よりも緩い条件下で収束速度を導出した。これにより、Huber回帰が弱いモーメント条件下でも高速な学習速度を維持することを示した。
• 理論的枠組みにより、非パラメトリック設定下でのHuber回帰のロバストネスを裏付けた。これは、従来の最小二乗法が重い尾を持つ誤差のため失敗する状況でも、依然として有効であることを示している。