[論文レビュー] Fast and Robust Least Squares Estimation in Corrupted Linear Models

Brian McWilliams, Gabriel Krummenacher+2 more|arXiv (Cornell University)|Jun 12, 2014

Sparse and Compressive Sensing Techniques参考文献 19被引用数 23

ひとこと要約

本稿では、誤った共変量が存在する状況における線形回帰のための高速で頑健なアルゴリズムである、最小二乗法に対する影響重み付きサブサンプリング（IWS-LS）を提案する。影響が低いデータポイント（すなわち、汚染されている可能性が低い点）をサブサンプリングすることで、標準的最小二乗法や既存の確率的近似手法と比較して、バイアスと分散を低減する。特に、汚染率が高い状況下でも有効である。

ABSTRACT

Subsampling methods have been recently proposed to speed up least squares estimation in large scale settings. However, these algorithms are typically not robust to outliers or corruptions in the observed covariates. The concept of influence that was developed for regression diagnostics can be used to detect such corrupted observations as shown in this paper. This property of influence -- for which we also develop a randomized approximation -- motivates our proposed subsampling algorithm for large scale corrupted linear regression which limits the influence of data points since highly influential points contribute most to the residual error. Under a general model of corrupted observations, we show theoretically and empirically on a variety of simulated and real datasets that our algorithm improves over the current state-of-the-art approximation schemes for ordinary least squares.

研究の動機と目的

• 共変量に汚染が生じる状況下でバイアスが生じる既存の確率的最小二乗法の限界を解決すること。
• 高次元データにおける外れ値や測定ノイズに対して頑健なスケーラブルなサブサンプリングアルゴリズムを開発すること。
• 影響スコアを活用して、極めて影響力が大きく汚染されているデータポイントを回避することで、推定精度を向上させること。
• 一般の汚染観測モデル（サブガウスノイズを想定）下でバイアスと分散低減の理論的保証を提供すること。
• 大規模応用に適した、影響スコアの近似を$ o(np^2) $時間で実行できる効率的な確率的アルゴリズムを設計すること。

提案手法

• 影響スコアに逆比例する確率でデータポイントをサブサンプリングする、IWS-LSと呼ばれるサブサンプリングアルゴリズムを提案。この手法により、汚染された観測の影響を最小限に抑える。
• 最小二乗推定量に対するデータポイントの有効な影響を、回帰診断における影響関数を用いて定義する。
• [8]のランダム化レバレッジ近似に基づくランダム化影響近似を導入し、$ o(np^2) $の実行時間スケーリングを実現する。
• 2つの効率的な近似アルゴリズムを提案：aIWS-LS（近似IWS-LS）とaRWS-LS（近似ランダム重み付きサンプリング）、両者ともサブ2乗時間で実行可能。
• 理論的分析により、IWS-LSは、汚染線形モデル下で、OLSや標準的確率的近似と比較して、バイアスと分散の両方を低減することが示された。
• 観測共変量が $\mathbf{Z} = \mathbf{X} + U\mathbf{W}$ と表され、$U$ が汚染を示し、$\mathbf{W}$ がサブガウス分布である一般モデルを用いて、汚染設定を形式化する。

実験結果

リサーチクエスチョン

• RQ1 共変量に加法的ノイズで汚染される状況下で、影響に基づくサブサンプリングは線形回帰の頑健性を向上させるか？
• RQ2 データ汚染下で、提案手法IWS-LSはOLSや他の確率的最小二乗近似と比較して、バイアスと分散の点でどのように異なるか？
• RQ3 ランダム化影響近似は、サブ2乗時間計算複雑性を維持しつつ、近似的に最適に近い性能を達成できるか？
• RQ4 IWS-LSの性能は、汚染率とデータセットサイズの増加に伴い、どのように変化するか？
• RQ5 i.i.d. でない、または重尾分布を示すデータ分布において、汚染が存在する状況下で、影響ベースのサンプリングは、レバレッジベースや一様サンプリングを上回るか？

主な発見

• データ汚染下では、OLS や標準的確率的最小二乗法と比較して、IWS-LSはバイアスと分散を顕著に低減する。特に汚染率が高い状況で顕著である。
• 30%の汚染率下では、aIWS-LS と aRWS-LS は正確な IWS-LS とほぼ同等の性能を達成しており、影響近似の有効性を示している。
• 5%の汚染率と小規模なサンプルサイズ下ではULURUが他の手法を上回るが、サンプルサイズが増加するにつれ、バイアス補正の失敗により、OLS や ULURU よりも影響ベース手法が優れるようになる。
• 大規模実験（$n=100,000$, $p=500$）において、aIWS-LS と aRWS-LS は、最小二乗法や他の近似手法と比較して、極めて少ないサブサンプリングでもより速く収束し、より良い解に到達する。
• 影響ベースのアプローチは、すべての汚染率とデータ分布において、一様サンプリング、レバレッジベース、SGDベースの手法と比較して、一貫して低い推定誤差とRMSEを達成する。
• 理論的分析により、IWS-LSは汚染モデル下で推定誤差を低減することが確認され、バイアスは汚染の共分散で有界である。さらに、$\Sigma_w$ の追加知識がある場合、その境界は改善される。