[論文レビュー] Outlier Detection Using Nonconvex Penalized Regression

Yiyuan She, Art B. Owen|arXiv (Cornell University)|Jun 14, 2010

Advanced Statistical Methods and Models参考文献 15被引用数 4

ひとこと要約

本稿では、各データポイントに平均シフトパラメータを導入し、しきい値に基づく正則化を適用することで、線形モデルにおけるロバストな外れ値検出のための非凸正則化回帰手法Θ-IPODを提案する。この手法はハードしきい値処理を用いて外れ値を特定し、マスキング／スワーピングの状況において従来のM推定量およびL1正則化手法を上回る性能を発揮する。1反復あたりの計算量がO(np)であるため、スパースな外れ値および回帰係数を伴う高次元設定でも特に効果的である。

ABSTRACT

This paper studies the outlier detection problem from the point of view of penalized regressions. Our regression model adds one mean shift parameter for each of the $n$ data points. We then apply a regularization favoring a sparse vector of mean shift parameters. The usual $L_1$ penalty yields a convex criterion, but we find that it fails to deliver a robust estimator. The $L_1$ penalty corresponds to soft thresholding. We introduce a thresholding (denoted by $Θ$) based iterative procedure for outlier detection ($Θ$-IPOD). A version based on hard thresholding correctly identifies outliers on some hard test problems. We find that $Θ$-IPOD is much faster than iteratively reweighted least squares for large data because each iteration costs at most $O(np)$ (and sometimes much less) avoiding an $O(np^2)$ least squares estimate. We describe the connection between $Θ$-IPOD and $M$-estimators. Our proposed method has one tuning parameter with which to both identify outliers and estimate regression coefficients. A data-dependent choice can be made based on BIC. The tuned $Θ$-IPOD shows outstanding performance in identifying outliers in various situations in comparison to other existing approaches. This methodology extends to high-dimensional modeling with $p\gg n$, if both the coefficient vector and the outlier pattern are sparse.

研究の動機と目的

• 複数の外れ値が存在する状況において、マスキングやスワーピングを引き起こす従来の外れ値検出手法の限界を解消すること。
• 1つの調整パラメータで外れ値の同定と回帰係数の推定を同時に実行するロバストな回帰フレームワークの構築。
• 反復加重最小二乗法（IRLS）の1反復あたりのコストをO(np²)からO(np)に削減することで、計算効率を向上させること。
• 回帰係数および外れ値パターンの両方にスパarsity仮定を置いた高次元設定（p ≫ n）への拡張。
• 提案手法のしきい値処理手順とM推定量との理論的関連を確立し、そのロバスト性を示すこと。

提案手法

• 各観測値に固有の平均シフトパラメータγ_iを導入する平均シフトモデルを定式化し、任意の部分集合の点を外れ値として特定可能にする。
• ハードしきい値処理（例：ハードしきい値処理）を用いた非凸正則化を適用し、γベクトルのスパarsityを誘導。非外れ値に対しては0に近い推定を優遇する。
• βはy - γに対するOLSで更新され、γは残差に対するしきい値処理で更新されるという反復アルゴリズムΘ-IPODを構築：γ ← Θ(Hy + (I - H)y; λ)。
• モデルの適合度とスパarsityのバランスを取るためにBICを用いたデータ依存の調整パラメータ選択を採用。手動による調整に依存する必要を低減。
• 安定性と収束性を向上させるために、βおよびγの初期化に事前段階のロバスト回帰手順を採用。ロバスト統計のベストプラクティスに整合。
• 理論的分析により、Θ-IPODの推定値がしきい値処理ルールによって誘導されるψ関数を有するM推定量と等価であることが示され、従来のロバスト回帰理論と接続される。

実験結果

リサーチクエスチョン

• RQ1 非凸正則化回帰フレームワークは、古典的手法に見られるマスキングやスワーピングの問題を回避しつつ、複数の外れ値を効果的に検出できるか？
• RQ2 さまざまな汚染状況下で、ハードしきい値処理（Θ）とソフトしきい値処理（L1）の外れ値同定性能はどのように比較されるか？
• RQ3 スパースな外れ値および回帰係数を伴う高次元設定（p ≫ n）において、提案手法Θ-IPODはどの程度ロバスト性と計算効率を維持できるか？
• RQ4 しきい値処理に基づく反復的手順と古典的手法のM推定量との理論的関係は何か？
• RQ5 データ駆動型のBICによる調整パラメータ選択により、1つの調整パラメータで外れ値検出と係数推定を同時に制御できるか？

主な発見

• ハードしきい値処理を用いたΘ-IPODは、凸性とソフトしきい値処理の性質によりL1正則化回帰が失敗するハードなテスト問題においても、外れ値を正しく同定する。
• 特に複数の外れ値が存在する状況において、従来のM推定量およびL1正則化回帰と比較して、外れ値検出の精度が顕著に優れている。
• IRLSよりも高速な計算を達成し、1反復あたりのコストがO(np)に抑えられる。これは、完全な最小二乗解を回避することで実現され、IRLSのO(np²)を下回る。
• 理論的にM推定量と接続されている：Θ-IPODの固定点解は、しきい値処理ルールから誘導されるψ関数を有するM推定量と等価である。
• 回帰係数ベクトルβおよび外れ値パターンγの両方がスパースである場合、高次元設定（p ≫ n）においても、ロバスト性と効率性を維持する。
• データ駆動型のBICに基づく調整パラメータ選択により、強い実験的性能が得られ、手動によるハイパーパramータチューニングの必要性が低減される一方で、高い検出精度を維持する。