[論文レビュー] High-dimensional robust regression and outliers detection with SLOPE

Alain Virouleau, Agathe Guilloux+2 more|arXiv (Cornell University)|Dec 7, 2017

Advanced Statistical Methods and Models参考文献 50被引用数 6

ひとこと要約

本稿では、ソートされたL1正則化（SLOPE）を用いて回帰係数と個々の切片（外れ値）を同時に推定する、新しい高次元ロバスト回帰手法E-SLOPEを提案する。平均シフトモデル下で、外れ値検出における誤発見率（FDR）制御と高い統計的パワーに関する理論的保証を初めて確立し、シミュレーションおよび実世界のデータを用いて検証された。PythonおよびC++によるオープンソースソフトウェアを提供している。

ABSTRACT

The problems of outliers detection and robust regression in a high-dimensional setting are fundamental in statistics, and have numerous applications. Following a recent set of works providing methods for simultaneous robust regression and outliers detection, we consider in this paper a model of linear regression with individual intercepts, in a high-dimensional setting. We introduce a new procedure for simultaneous estimation of the linear regression coefficients and intercepts, using two dedicated sorted-$\ell_1$ penalizations, also called SLOPE. We develop a complete theory for this problem: first, we provide sharp upper bounds on the statistical estimation error of both the vector of individual intercepts and regression coefficients. Second, we give an asymptotic control on the False Discovery Rate (FDR) and statistical power for support selection of the individual intercepts. As a consequence, this paper is the first to introduce a procedure with guaranteed FDR and statistical power control for outliers detection under the mean-shift model. Numerical illustrations, with a comparison to recent alternative approaches, are provided on both simulated and several real-world datasets. Experiments are conducted using an open-source software written in Python and C++.

研究の動機と目的

• 高次元線形モデルにおける同時にロバスト回帰と外れ値検出を実現する課題に対処すること。
• 外れ値を特定する際の誤発見率（FDR）を制御しながら高い統計的パワーを維持する手法を開発すること。
• SLOPEフレームワークを拡張し、外れ値のための個々の切片をモデル化することで、回帰係数と外れ値効果を同時に推定できること。
• 回帰係数および外れ値切片の両方について、推定誤差とサポート回復に関する理論的保証を提供すること。
• シミュレーションおよび実世界のデータセットを用いて、最近の代替手法と比較して実証的に検証すること。

提案手法

• グローバル回帰係数と個々の切片（外れ値）の両方にソートされたL1ノルム（SLOPE）を用いた二重正則化回帰モデルを導入する。
• 外れ値が個々の切片として表現される平均シフトモデルを採用し、グローバル回帰構造と外れ値固有の逸脱を区別できるようにする。
• 回帰係数および外れ値インジケーターの両方にスパarsityを誘導するため、ソートされたL1ペナルティを用いた二段階最適化手順を採用する。
• 回帰係数ベクトルおよび外れ値切片ベクトルの推定誤差について、鋭い上界を導出する。
• Benjamini-Hochberg手順の性質を活用し、外れ値サポート選択におけるFDRと統計的パワーの制御のための漸近的解析を適用する。
• 効率的な凸最適化アルゴリズムを用いて実装し、再現可能性およびスケーラビリティを確保するため、PythonおよびC++によるオープンソースコードを提供する。

実験結果

リサーチクエスチョン

• RQ1 高次元回帰モデルは、理論的保証のもとで回帰係数と外れ値固有の切片を同時に推定可能か？
• RQ2 提案されたE-SLOPE手法は、平均シフトモデル下で外れ値検出において制御された誤発見率（FDR）を達成するか？
• RQ3 E-SLOPEの真の外れ値を特定する統計的パワーはどの程度で、既存手法と比較してどうか？
• RQ4 高次元設定下でも、回帰係数および外れ値切片の両方について、低い推定誤差を維持できるか？
• RQ5 相関構造や外れ値の大きさが異なるシナリオにおいて、E-SLOPEは実世界およびシミュレーションデータセットで実際にどの程度の性能を示すか？

主な発見

• E-SLOPEは平均シフトモデル下で漸近的FDR制御を達成し、lim sup FDR ≤ q + c が成り立つ。ここでcは任意に小さくできる。
• 本手法は高い統計的パワーを達成し、正規性条件の下でパワーは1に近づく。これにより、大多数の真の外れ値が検出される。
• 回帰係数および外れ値切片の両方の推定誤差は、高い確率で有界であり、ノイズレベルおよびデザイン行列の性質に基づいた明示的な上界が導出された。
• 低振幅外れ値と高い相関（ρ = 0.8）を伴うシミュレーションでは、E-SLOPEはFDR制御を維持し、完全なパワーを達成し、E-LASSOおよびIPODを上回った。
• 高相関およびさまざまな目標FDRレベル（10%および20%）を含む複数のシミュレーション設定において、E-SLOPEは回帰係数および切片の両方で最小の平均二乗誤差（MSE）を達成した。
• 補足的なシミュレーションにより、弱い外れ値に対してもロバストであり、多様なデザイン行列においても性能を維持することが確認された。