[논문 리뷰] Fast and Robust Least Squares Estimation in Corrupted Linear Models

Brian McWilliams, Gabriel Krummenacher외 2명|arXiv (Cornell University)|2014. 06. 12.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 23

한 줄 요약

이 논문은 오염된 공변량이 존재하는 상황에서 선형 회귀를 위한 빠르고 강건한 알고리즘인 최소제곱법에 대한 影響-가중 하향표본추출(IWS-LS)을 제안한다. 영향력이 낮은 데이터 포인트(오염될 가능성이 낮은 포인트)를 하향표본추출함으로써, 기존의 표준 최소제곱법과 기존의 랜덤화된 근사 방법에 비해 편향과 분산을 감소시킨다. 특히 고오염률 상황에서 뛰어난 성능을 발휘한다.

ABSTRACT

Subsampling methods have been recently proposed to speed up least squares estimation in large scale settings. However, these algorithms are typically not robust to outliers or corruptions in the observed covariates. The concept of influence that was developed for regression diagnostics can be used to detect such corrupted observations as shown in this paper. This property of influence -- for which we also develop a randomized approximation -- motivates our proposed subsampling algorithm for large scale corrupted linear regression which limits the influence of data points since highly influential points contribute most to the residual error. Under a general model of corrupted observations, we show theoretically and empirically on a variety of simulated and real datasets that our algorithm improves over the current state-of-the-art approximation schemes for ordinary least squares.

연구 동기 및 목표

• 공변량에서 데이터 오염이 발생할 경우 편향이 생기는 기존의 랜덤화된 최소제곱법의 한계를 해결한다.
• 고차원 데이터에서 이방성 및 측정 노이즈에 강건한 확장 가능한 하향표본추출 알고리즘을 개발한다.
• 영향도 점수를 활용해 영향력이 높고 오염된 데이터 포인트를 피함으로써 추정 정확도를 향상시킨다.
• 일반적인 오염 관측 모델과 서브-가우시안 노이즈 하에서 편향과 분산 감소에 대한 이론적 보장을 제공한다.
• 대규모 응용을 위한 하위-정사곱 시간 내에서 영향도 점수를 근사하는 효율적인 랜덤화 알고리즘을 설계한다.

제안 방법

• 영향도에 반비례하는 표본추출 확률을 부여하는 하향표본추출 알고리즘인 IWS-LS를 제안하여, 오염된 관측치의 영향을 최소화한다.
• 회귀 진단에서 사용하는 영향도 함수를 활용해, 데이터 포인트가 최소제곱 추정치에 미치는 유효한 영향을 영향도로 정의한다.
• 문헌 [8]의 랜덤라이즈드 리버리지 근사 기반의 랜덤화된 영향도 근사를 도입함으로써, $o(np^2)$ 실행 시간 스케일링을 가능하게 한다.
• 두 가지 효율적인 근사 알고리즘인 aIWS-LS(근사 IWS-LS)와 aRWS-LS(근사 랜덤화된 가중 표본추출)를 개발하였으며, 둘 다 하위-정사곱 시간 내에서 실행된다.
• 이론적 분석을 통해 IWS-LS는 오염된 선형 모델 하에서 OLS 및 표준 랜덤화된 근사 방법에 비해 편향과 분산을 모두 감소시킴을 보여준다.
• 관측된 공변량 $\mathbf{Z} = \mathbf{X} + U\mathbf{W}$ 를 사용하는 일반 모델을 도입하여 오염 설정을 수식화하며, 여기서 $U$ 는 오염을 나타내고 $\mathbf{W}$ 는 서브-가우시안이다.

실험 결과

연구 질문

• RQ1 공변량에 가우시안 노이즈가 추가된 오염 상황에서 영향도 기반 하향표본추출이 선형 회귀의 강건성을 향상시킬 수 있는가?
• RQ2 데이터 오염 상황에서 제안된 IWS-LS 방법은 OLS 및 기타 랜덤화된 최소제곱 근사 방법에 비해 편향과 분산 측면에서 어떻게 비교되는가?
• RQ3 랜덤화된 영향도 근사는 얼마나 높은 수준의 최적성에 도달할 수 있으며, 同시에 하위-정사곱 계산 복잡도를 유지할 수 있는가?
• RQ4 IWS-LS의 성능은 오염률과 데이터셋 크기가 증가함에 따라 어떻게 변화하는가?
• RQ5 비독립 동일분포 및 무거운 尾部 분포를 가진 오염된 데이터 분포에서 영향도 기반 표본추출은 리버리지 기반 또는 균일 표본추출보다 우월한가?

주요 결과

• 데이터 오염 상황에서 OLS 및 표준 랜덤화된 최소제곱 방법에 비해 IWS-LS는 편향과 분산을 크게 감소시킨다. 특히 고오염률 상황에서 뚜렷한 성능 향상을 보인다.
• 30% 오염률 상황에서 aIWS-LS와 aRWS-LS는 정확한 IWS-LS와 거의 동일한 성능을 달성하여, 영향도 근사의 효과성을 입증한다.
• 5% 오염률과 작은 표본 크기 상황에서는 ULURU가 다른 방법보다 뛰어나지만, 표본 크기가 증가함에 따라 OLS와 ULURU의 편향 보정 실패로 인해 영향도 기반 방법이 승승장구한다.
• 대규모 실험($n=100,000$, $p=500$)에서 aIWS-LS와 aRWS-LS는 최소한의 표본추출에도 불구하고 OLS 및 기타 근사 방법보다 더 신속하게 더 나은 해에 수렴한다.
• 모든 오염 수준과 데이터 분포에서 영향도 기반 접근법은 균일, 리버리지 기반, SGD 기반 방법에 비해 일관되게 낮은 추정 오차와 RMSE를 기록한다.
• 이론적 분석을 통해 IWS-LS는 오염된 모델 하에서 추정 오차를 감소시키며, 편향은 오염 공분산에 의해 제한된다. 추가로 $\Sigma_w$ 의 지식이 있으면 이 제한은 더욱 향상된다.