[논문 리뷰] Online Robust Regression via SGD on the l1 loss

Scott Pesme, Nicolas Flammarion|arXiv (Cornell University)|2020. 07. 01.

Sparse and Compressive Sensing Techniques참고 문헌 84인용 수 12

한 줄 요약

이 논문은 스트리밍 데이터에서 악성 이상치를 다루기 위해 ℓ₁ 손실에 대한 확률적 경사 하강법(SGD)을 사용하는 온라인 강건한 회귀 알고리즘을 제안한다. 가우시안 특징의 스무딩 효과와 Polyak-Ruppert 평균화를 활용하여, 이 알고리즘은 Õ(1/n)의 빠른 수렴 속도를 달성함으로써, 배치 처리나 이상치 탐지 없이도 고율의 이상치 비율(η < 1)에서도 진짜 매개변수를 일관되게 복원할 수 있다.

ABSTRACT

We consider the robust linear regression problem in the online setting where we have access to the data in a streaming manner, one data point after the other. More specifically, for a true parameter $θ^*$, we consider the corrupted Gaussian linear model $y = \langle x , \ θ^* angle + \varepsilon + b$ where the adversarial noise $b$ can take any value with probability $η$ and equals zero otherwise. We consider this adversary to be oblivious (i.e., $b$ independent of the data) since this is the only contamination model under which consistency is possible. Current algorithms rely on having the whole data at hand in order to identify and remove the outliers. In contrast, we show in this work that stochastic gradient descent on the $\ell_1$ loss converges to the true parameter vector at a $ ilde{O}( 1 / (1 - η)^2 n )$ rate which is independent of the values of the contaminated measurements. Our proof relies on the elegant smoothing of the non-smooth $\ell_1$ loss by the Gaussian data and a classical non-asymptotic analysis of Polyak-Ruppert averaged SGD. In addition, we provide experimental evidence of the efficiency of this simple and highly scalable algorithm.

연구 동기 및 목표

• 스트리밍 데이터에서 악성 오염에 견디는 효율적이고 확장 가능한 온라인 알고리즘을 개발하기 위해.
• 측정치의 일부 비율 η를 악성 적으로 오염시키는 무감지 적인 적(보통의 적)이 존재하더라도 일관된 매개변수 복원을 가능하게 하기 위해.
• 전체 데이터 접근이 필요하고 대규모 또는 실시간 응용에 비현실적인 배치 알고리즘의 한계를 극복하기 위해.
• 강한 볼록성 조건이 없을 경우에도 최적의 비점근 수렴 속도를 달성하기 위해, ℓ₁ 손실과 SGD만을 사용하기 위해.
• SGD가 ℓ₁ 손실에 적용될 경우 온라인 환경에서 통계적으로 최적이고 계산적으로도 확장 가능한지 보여주기 위해.

제안 방법

• 알고리즘은 기대 ℓ₁ 손실 E[|y − ⟨x, θ⟩|]에 대한 평균화된 확률적 경사 하강법(averaged SGD)을 사용한다.
• 진짜 매개변수 θ* 주변에서 국소적으로 강한 볼록성을 유도하기 위해, 비연속적인 ℓ₁ 손실이 가우시안 설계 행렬에 의해 스무딩됨을 활용한다.
• 비강한 볼록 설정에서 더 빠른 수렴 속도를 달성하기 위해 Polyak-Ruppert 평균화를 적용한다.
• 알고리즘이 본질적으로 온라인으로 작동하여 한 번에 하나의 데이터 포인트만 처리하므로, 대규모 및 스트리밍 응용에 적합하다.
• 분석은 최근의 확률적 근사 이론과 평균화된 SGD의 비점근 분석에서의 발전에 기반한다.
• 특징의 노름에 대한 상한만 필요로 하여 실무에서 거의 매개변수 없는 형태가 된다.

실험 결과

연구 질문

• RQ1 ℓ₁ 손실에 대한 확률적 경사 하강법은 악성 이상치 오염 하에 온라인 강건한 회귀에서 빠른 수렴을 달성할 수 있는가?
• RQ2 가우시안 특징의 스무딩 효과는 비연속적이며 비강한 볼록 문제에서 수렴 속도를 가속화하는 강한 볼록성 유사 행동을 가능하게 하는가?
• RQ3 비미분 가능성이 있는 ℓ₁ 손실에 대해 평균화된 SGD가 비록 비연속적이지만도 Õ(1/n) 수렴 속도를 달성할 수 있는가?
• RQ4 이 알고리즘은 높은 이상치 비율(η < 1)에 대해 강건하고 특징의 악조건에 민감하지 않은가?
• RQ5 간단하고 확장 가능한 온라인 알고리즘이 효율성과 통계적 일관성 측면에서 배치 방법을 능가할 수 있는가?

주요 결과

• 제안된 알고리즘은 비점근 수렴 속도 Õ(1/(1−η)²n)를 달성하며, 이는 최적이며 이상치 크기와 무관하다.
• 수렴 속도는 효과적 이상치 비율 ˜η < η에 의존하므로, 적의 난이도에 적응하는 특성을 지닌다.
• ℓ₁ 손실이 비연속적이며 비강한 볼록이지만, 가우시안 스무딩과 Polyak-Ruppert 평균화 덕분에 알고리즘은 O(1/n) 수렴 속도를 달성한다.
• 알고리즘이 매우 확장 가능하여, 전체 데이터 저장이 필요 없이 순차적으로 데이터를 처리하므로 온라인 및 대규모 응용에 적합하다.
• 실험 결과는 알고리즘이 실시간 환경에서 이상치 탐지 및 무거운 尾 비료 노이즈 처리에 있어 효율성과 강건성을 확인시켜 준다.
• 알고리즘은 거의 매개변수 없이 작동하며, 특징의 노름에 대한 상한만 필요로 하여 실무 적용성과 향상된다.