[論文レビュー] Minimum Distance Estimation for Robust High-Dimensional Regression

Aurélie Lozano, Nicolai Meinshausen|arXiv (Cornell University)|Jul 11, 2013

Statistical Methods and Inference参考文献 30被引用数 6

ひとこと要約

本論文は、最小距離関数型とl1正則化を組み合わせることで外れ値に対して耐性を持つ、ロバストな高次元回帰手法であるMinimum Distance Lasso (MD-Lasso)を提案する。1次オーダー最適化により幾何的収束を達成し、誤差分布にやや厳しい条件が課されても一貫性を保ち、スケーリングパラメータが増加するにつれて最小二乗法Lassoに近づく性能を示す。

ABSTRACT

We propose a minimum distance estimation method for robust regression in sparse high-dimensional settings. The traditional likelihood-based estimators lack resilience against outliers, a critical issue when dealing with high-dimensional noisy data. Our method, Minimum Distance Lasso (MD-Lasso), combines minimum distance functionals, customarily used in nonparametric estimation for their robustness, with l1-regularization for high-dimensional regression. The geometry of MD-Lasso is key to its consistency and robustness. The estimator is governed by a scaling parameter that caps the influence of outliers: the loss per observation is locally convex and close to quadratic for small squared residuals, and flattens for squared residuals larger than the scaling parameter. As the parameter approaches infinity, the estimator becomes equivalent to least-squares Lasso. MD-Lasso enjoys fast convergence rates under mild conditions on the model error distribution, which hold for any of the solutions in a convexity region around the true parameter and in certain cases for every solution. Remarkably, a first-order optimization method is able to produce iterates very close to the consistent solutions, with geometric convergence and regardless of the initialization. A connection is established with re-weighted least-squares that intuitively explains MD-Lasso robustness. The merits of our method are demonstrated through simulation and eQTL data analysis.

研究の動機と目的

• 高次元でノイズが多く外れ値を含むデータにおいて、従来の尤度に基づく推定量のロバスト性の欠如に対処すること。
• 誤差分布に汚染があっても、スパースな高次元設定において一貫性と効率性を維持する手法を開発すること。
• 初期値に依存せず、幾何的レートで最適化が高速収束することを保証すること。
• MD-Lassoと再重み付け最小二乗法との間の関係を確立し、ロバスト性の直感的解釈を可能にすること。
• シミュレーションと実際のeQTLデータ解析を通じて、実効性を実証すること。

提案手法

• MD-Lassoは、小さな残差に対して局所的に凸で二次的な損失関数を適用し、スケーリングパラメータを超えて平坦化することで外れ値の影響を制限する最小距離関数型を用いる。
• 高次元回帰モデルにおけるスパarsityを強制するためにl1正則化を組み込む。
• スケーリングパラメータが無限大に近づくにつれて、MD-Lassoが最小二乗法Lassoに収束するように損失関数を設計する。
• 1次オーダー最適化手法を採用し、初期値に依存せず一貫した解に幾何的収束を達成する。
• 推定量の幾何的性質により、真のパラメータの周囲の凸性領域内での解に対して一貫性が保証される。
• 再重み付け最小二乗法との関連を確立し、残差の適応的重み付けを通じてMD-Lassoのロバスト性を説明する。

実験結果

リサーチクエスチョン

• RQ1 l1正則化を施した最小距離ベースの推定量は、外れ値汚染下でも高次元回帰においてロバスト性を達成できるか？
• RQ2 MD-Lassoは、誤差分布にやや厳しい仮定が課されても一貫性と高速収束を維持するか？
• RQ3 1次オーダー最適化手法は、初期値に依存せず一貫した解に信頼性高く収束するか？
• RQ4 モデルの不適合下で、MD-Lassoは従来の最小二乗法Lassoと比べてロバスト性と効率性に優れているか？
• RQ5 残差の重み付けとロバスト性の観点から、MD-Lassoと再重み付け最小二乗法との関係は何か？

主な発見

• 誤差分布にやや厳しい条件が課されても、MD-Lassoは重い尾を持つ分布や汚染された分布下でも高速収束レートを達成する。
• 真のパラメータの周囲の凸性領域内にある任意の解に対して、推定量は一貫性を保ち、一部の状況ではすべての解に対して一貫性を示す。
• 1次オーダー最適化手法は、初期値に依存せず、一貫した解に非常に近い反復を幾何的収束レートで生成する。
• 再重み付け最小二乗法との関連により、大きな残差が低減重み付けされることで、MD-Lassoのロバスト性が説明される。
• シミュレーションおよびeQTLデータ解析により、外れ値が存在する状況でも標準Lassoよりも本手法の優れた性能が確認された。
• スケーリングパラメータが増加するにつれて、MD-Lassoは最小二乗法Lasso推定量に漸近的に収束し、極限での一貫性が確認された。