[논문 리뷰] Adaptive Hard Thresholding for Near-optimal Consistent Robust Regression

Arun Sai Suggala, Kush Bhatia외 2명|arXiv (Cornell University)|2019. 03. 19.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 18

한 줄 요약

이 논문은 적응형 하드 임계값 설정 기반의 새로운 알고리즘인 AdaCRR를 제안한다. 이는 외부 적대적 공격자에 의해 최대 1 - o(1) 비율의 응답이 손상된 상황에서도 일관된 추정을 달성할 수 있는 강건한 선형 회귀를 위한 알고리즘이다. 무작위 편향을 사용하여 나쁜 고정점을 피하기 위해 임계값을 적응적으로 조정함으로써, AdaCRR는 거의 최적의 통계적 속도와 선형 시간 복잡도를 확보하며, 희소성과 무거운 尾비율 회귀 문제 모두에서 기존 방법보다 강건성과 효율성 면에서 뛰어나다.

ABSTRACT

We study the problem of robust linear regression with response variable corruptions. We consider the oblivious adversary model, where the adversary corrupts a fraction of the responses in complete ignorance of the data. We provide a nearly linear time estimator which consistently estimates the true regression vector, even with $1-o(1)$ fraction of corruptions. Existing results in this setting either don't guarantee consistent estimates or can only handle a small fraction of corruptions. We also extend our estimator to robust sparse linear regression and show that similar guarantees hold in this setting. Finally, we apply our estimator to the problem of linear regression with heavy-tailed noise and show that our estimator consistently estimates the regression vector even when the noise has unbounded variance (e.g., Cauchy distribution), for which most existing results don't even apply. Our estimator is based on a novel variant of outlier removal via hard thresholding in which the threshold is chosen adaptively and crucially relies on randomness to escape bad fixed points of the non-convex hard thresholding operation.

연구 동기 및 목표

• 높은 수준의 적대적 응답 오염 상황에서도 계산적으로 효율적인 추정기로서 진짜 회귀 벡터를 일관되게 추정할 수 있도록 설계하는 것.
• 일관된 강건한 회귀를 희소 선형 모델과 서브-가우시안 노이즈, 고차원 설정으로 확장하는 것.
• 분산이 유계가 아닌 경우, 예를 들어 코시 분포처럼 무거운 꼬리 노이즈가 존재하는 상황에서도 일관된 추정을 제공하는 것.
• 높은 오염 수준에서 나쁜 고정점에 갇히는 고정 임계값 설정 방법의 한계를 극복하는 것.
• 밀도 있는 및 희소한 설정 모두에서 일반 최소 제곱법(OLS)에 가까운 계산 복잡도를 확보하면서 거의 최적의 통계적 속도를 달성하는 것.

제안 방법

• 무작위 편향을 활용해 나쁜 국소 최소값을 피하기 위해 동적으로 조정되는 임계값을 사용하는 적응형 하드 임계값 설정 기반의 프레임워크인 AdaCRR를 제안한다.
• 반복적인 이국점 제거 과정을 적용한다: 각 반복에서 잔차를 계산하고, 적응형 임계값 설정을 통해 이국점을 식별하고 제거한 후, 남은 점들에 대해 표준 OLS를 수행한다.
• 두 가지 변형을 사용한다: AdaCRR-FC(고정점 갱신)와 AdaCRR-GD(경량 하강 갱신)로, 둘 다 반복당 O(nd)의 비용을 유지한다.
• 임계값 설정 과정에 무작위성을 도입하여 나쁜 국소 최소값을 벗어나는 데 필수적이다. 이는 높은 오염 비율 상황에서 매우 중요하다.
• 표준 RSC 조건 하에서 희소 회귀에 프레임워크를 적용하며, 단지 n ≥ k* log²p개의 표본이 필요하다. 여기서 k*는 희소성 수준이다.
• 분산이 무한대인 무거운 꼬리 노이즈(예: 코시 분포) 상황으로 확장하여, 일관된 추정이 가능함을 보였다.

실험 결과

연구 질문

• RQ1 1 - o(1) 비율의 오염된 응답을 견딜 수 있는 선형 시간 일관성 추정기 설계가 가능한가?
• RQ2 무작위 편향을 포함한 적응형 임계값 설정이 고오염 상황에서 나쁜 고정점으로 수렴하는 것을 방지할 수 있는가?
• RQ3 AdaCRR는 고차원 데이터에서 희소 회귀에 대해 일관성과 거의 최적의 통계적 속도를 유지하는가?
• RQ4 표준 추정기들이 실패하는 코시 분포와 같은 중성 무거운 꼬리 노이즈 상황에서도 AdaCRR는 일관된 추정을 달성할 수 있는가?
• RQ5 높은 오염 상황에서 Huber 회귀 및 기타 강건 추정기와 비교해 AdaCRR는 수렴 속도와 정확도 면에서 어떻게 성능을 내는가?

주요 결과

• AdaCRR-FC와 AdaCRR-GD는 최대 1 - o(1) 비율의 응답이 오염된 상황에서도 일관된 추정을 달성하며, 고정 임계값 설정 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 알고리즘은 ε-최적 해에 도달하기 위해 O(log 1/ε)회의 반복 내에 수렴하며, 거의 선형 시간 복잡도를 확보하여 OLS와 유사한 성능을 낸다.
• 무거운 꼬리 코시 노이즈 상황에서는 표본 수가 증가할수록 추정 오차가 감소하는 경향을 보였으며, OLS와 릿지 회귀가 실패하는 상황에서도 일관성을 유지함을 입증했다.
• Huber 회귀보다 최대 100배 빠르면서도 더 낮은 복구 오차를 달성했으며, 실질적으로 선형 수렴을 관찰했다.
• 희소 회귀에서는 표본 복잡도 n ≥ k* log²p를 확보하여 이론적 하한선과 일치하는 일관성을 달성했다.
• 노이즈가 없는 경우와 노이즈가 있는 경우 모두에서 기준 방법보다 훨씬 높은 오염 수준을 견딜 수 있었으며, Huber 회귀는 노이즈가 있을 때에만 경쟁 가능성이 있었다.