[論文レビュー] The BerHu penalty and the grouped effect

Laurent Zwald, Sophie Lambert‐Lacroix|arXiv (Cornell University)|Jul 30, 2012

Advanced Statistical Methods and Models参考文献 26被引用数 35

ひとこと要約

本稿では、ロバスト基準のHuberと適応的lassoのハイブリッドである、適応的BerHuペナルティを導入する。この手法は、小さな係数に対して$β$-ノルムの縮小を、大きな係数に対しては2次ペナルティを適用する。得られる推定量は、通常最小二乗法およびHuberの基準の両方においてオラクル性質を達成し、大きな係数を1つのグループとして扱うことでグループ化効果を促進し、相関のある予測子を伴う高次元かつ重い尾を持つ設定における変数選択を改善する。

ABSTRACT

The Huber's criterion is a useful method for robust regression. The adaptive least absolute shrinkage and selection operator (lasso) is a popular technique for simultaneous estimation and variable selection. In the case of small sample size and large covariables numbers, this penalty is not very satisfactory variable selection method. In this paper, we introduce an adaptive reversed version of Huber's criterion as a penalty function. We call this penalty adaptive Berhu penalty. As for elastic net penalty, small coefficients contribute their $\ell_1$ norm to this penalty while larger coefficients cause it to grow quadratically (as ridge regression). We show that the estimator associated with criterion such that ordinary least square or Huber's one combining with adaptive Berhu penalty enjoys the oracle properties. In addition, this procedure encourages a grouping effect. This approach is compared with adaptive elastic net regularization. Extensive simulation studies demonstrate satisfactory finite-sample performance of such procedure. A real example is analyzed for illustration purposes. Keywords : Adaptive Berhu penalty; concomitant scale; elastic net penalty; Huber's criterion; oracle property; robust estimation.

研究の動機と目的

• 重い尾を持つ誤差や外れ値が存在する高次元・小標本設定におけるlassoの限界を解決すること。
• 予測子間の高い相関が生じる状況下でlassoの不一致な変数選択と性能の低さを克服すること。
• Huberの基準、lasso、リッジ回帰の長所を統合したロバストで適応的なペナルティを構築すること。
• 推定量が通常最小二乗法およびHuberの基準の両方において、変数選択と推定の両面で一貫性（オラクル性質）を達成することを保証すること。
• 大きな係数を1つのグループとして扱い、グループ化効果を誘発することで、相関のある予測子設定における選択の安定性を向上させること。

提案手法

• 小さな係数に対して$β$-ノルムの縮小、大きな係数に対しては2次ペナルティを適用する適応的BerHuペナルティを提案し、エラスティック・ネットの挙動を模倣する。
• 通常最小二乗法またはHuberの基準と適応的BerHuペナルティを組み合わせることで、ロバストで適応的な推定フレームワークを構築する。
• 尺度不変性を確保するとともに、ロバスト性を向上させるために共変尺度推定を用いる。
• 効率的な計算を実現するため、最適化問題を二次錐計画問題（SOCP）として定式化する。
• ペナルティ構造が$β$-ノルムによる共同ペナルティによって、大きな係数を暗黙的にグループ化し、グループ化lassoの効果を模倣する。
• 通常最小二乗法およびHuberの基準の両方において、変数選択と推定の一貫性を含む理論的オラクル性質を証明する。

実験結果

リサーチクエスチョン

• RQ1 適応的BerHuペナルティは、重い尾を持つ誤差を伴う高次元回帰において、オラクル性質を達成できるか？
• RQ2 適応的BerHuペナルティは、エラスティック・ネットやグループ化lassoと同様に、高い相関を持つ予測子に対してグループ化効果を誘発するか？
• RQ3 Huberの基準と適応的BerHuペナルティの組み合わせは、適応的エラスティック・ネットと比較して、変数選択と推定の精度において優れているか？
• RQ4 適応的BerHuフレームワークにおけるグループ化効果の理論的根拠は何か？
• RQ5 共変尺度推定は、高次元設定におけるロバスト性と有限標本性能を向上させることができるか？

主な発見

• 適応的BerHuペナルティとHuberの基準を組み合わせた推定量は、高次元漸近的条件下でオラクル性質を達成し、変数選択と推定の両面で一貫性を保証する。
• 適応的BerHuペナルティは、大きな係数を1つのグループとして扱い、$β$-ノルムによるペナルティを課すことでグループ化効果を誘発し、高い相関が存在する状況での選択の安定性を向上させる。
• 有限標本において、重い尾を持つ誤差が存在する状況で、標準的lassoや適応的lassoよりも優れた性能を示す。特に$n \ll p$の状況で顕著である。
• シミュレーション研究により、汚染状況および高い相関下でも、適応的BerHu法は高い真正陽性率と低い偽発見率を維持することが確認された。
• 共変尺度推定はロバスト性を向上させ、重い尾を持つ誤差分布下での係数推定のバイアスを低減した。
• 提案手法は計算的に効率的であり、MATLABで実装されており、再現性を確保するためコードは公開されている。