[논문 리뷰] Robust Regression Revisited: Acceleration and Improved Estimation Rates

Arun Jambulapati, Jerry Li외 2명|arXiv (Cornell University)|2021. 06. 22.

Machine Learning and Algorithms참고 문헌 40인용 수 7

한 줄 요약

이 논문은 강한 오염 모델 하에서 최대 $\epsilon$-분율의 데이터가 적대적으로 손상된 상황에서도 개선된 추정 속도와 거의 선형적 실행 시간을 달성하는 새로운 가속화된 강건한 회귀 알고리즘을 제안한다. 강건한 기울기 추정과 Moreau 포락선을 통한 가속 최적화를 조합함으로써, 방법은 $O(\sqrt{\kappa\epsilon/\mu})$의 통계적 오차를 달성하며, $O(\text{poly}(\log n) \cdot d/\epsilon)$의 샘플 복잡도와 거의 선형적 시간 복잡도를 가지며, 이는 이전 작업에 비해 크게 향상된다.

ABSTRACT

We study fast algorithms for statistical regression problems under the strong contamination model, where the goal is to approximately optimize a generalized linear model (GLM) given adversarially corrupted samples. Prior works in this line of research were based on the robust gradient descent framework of Prasad et. al., a first-order method using biased gradient queries, or the Sever framework of Diakonikolas et. al., an iterative outlier-removal method calling a stationary point finder. We present nearly-linear time algorithms for robust regression problems with improved runtime or estimation guarantees compared to the state-of-the-art. For the general case of smooth GLMs (e.g. logistic regression), we show that the robust gradient descent framework of Prasad et. al. can be accelerated, and show our algorithm extends to optimizing the Moreau envelopes of Lipschitz GLMs (e.g. support vector machines), answering several open questions in the literature. For the well-studied case of robust linear regression, we present an alternative approach obtaining improved estimation rates over prior nearly-linear time algorithms. Interestingly, our method starts with an identifiability proof introduced in the context of the sum-of-squares algorithm of Bakshi and Prasad, which achieved optimal error rates while requiring large polynomial runtime and sample complexity. We reinterpret their proof within the Sever framework and obtain a dramatically faster and more sample-efficient algorithm under fewer distributional assumptions.

연구 동기 및 목표

• 최대 $\epsilon$-분율의 데이터가 적대적으로 손상된 경우 일반선형모형에서 강건한 매개변수 추정 문제를 해결하기 위해.
• 강한 오염 모델 하에서 기존 강건한 회귀 알고리즘의 추정 오차율과 실행 시간 효율성을 향상시키기 위해.
• 노이즈 기반 기울기 오라클과 Moreau 포락선을 활용하여 강건한 회귀에서 가속화된 수렴을 달성하기 위해.
• 차원에 독립적인 통계적 보장을 제공하여 $\epsilon$와 조건수 $\kappa$에 대해 유리하게 스케일링되도록 하기 위해.
• 부드럽고 규칙적인 조건 하에서 강건한 기울기 하강법이 최적의 $O(\sqrt{\kappa}\epsilon)$ 오차율을 달성할 수 있음을 보여주기 위해.

제안 방법

• 손상된 데이터 상황에서도 기울기를 근사하기 위해 강건한 평균 추정 기반의 노이즈 기반 기울기 오라클을 사용한다.
• 목적 함수를 매끄럽게 하고 가속 최적화를 가능하게 하기 위해 정규화된 Moreau 포락선을 도입한다.
• Nesterov 스타일의 가속을 정규화된 Moreau 포락선에 적용하여 표준 강건한 기울기 하강법보다 빠른 수렴을 달성한다.
• 핵심 구성 요소로는 $O(\text{poly}(\log n) \cdot d/\epsilon)$의 샘플 복잡도와 쿼리당 거의 선형 시간을 가지는 반경 없는 노이즈 기반 기울기 오라클을 사용한다.
• Moreau 포락선의 부드러움과 리프시츠 성질을 분석하고 기울기 오차 전파에 대한 경계를 설정한다.
• 수렴을 보장하기 위해 강건한 필터링과 반복적 거리 감소 기법을 조합하여 진짜 매개변수로부터 $O(\sqrt{\kappa\epsilon/\mu})$ 이내의 해에 수렴한다.

실험 결과

연구 질문

• RQ1 적대적인 오염이 존재하는 상황에서 강건한 기울기 하강법을 최적 수렴 속도를 달성하도록 가속화할 수 있는가?
• RQ2 강한 오염 하에서 강건한 회귀의 통계적 오차와 계산 효율성 사이의 최적 트레이드오프는 무엇인가?
• RQ3 Moreau 포락선을 사용하여 강건한 회귀에 대해 안정적이고 가속화된 최적화 프레임워크를 구성할 수 있는가?
• RQ4 고차원적이고 손상된 데이터 하에서 낮은 샘플 복잡도로 효율적으로 노이즈 기반 기울기 오라클을 구성할 수 있는가?
• RQ5 부드럽고 규칙적인 조건 하에서 강건한 회귀의 최고로 달성 가능한 추정 오차율은 무엇인가?

주요 결과

• 제안된 알고리즘은 높은 확률로 $O(\sqrt{\kappa\epsilon/\mu})$의 통계적 오차를 달성하며, 이는 이전의 비가속화된 방법보다 향상되었다.
• 알고리즘은 $O(\text{poly}(\log n) \cdot nd/\epsilon)$의 시간 복잡도로 실행되어 데이터셋 크기 $nd$에 대해 거의 선형적 실행 시간을 달성한다.
• 노이즈 기반 기울기 오라클의 샘플 복잡도는 $O(\log(1/\delta\epsilon) \cdot d\log(d/\epsilon)/\epsilon)$이며, 주요 항에서 차원에 영향을 받지 않는다.
• 이 방법은 강건한 기울기 하강법이 부드럽고 강력히 볼록 최적화의 이론적 하한선에 도달하도록 가속화될 수 있음을 입증한다.
• 분석 결과, 적절한 조건 하에서 최적 해까지의 제곱 거리가 반복마다 $1 - \Omega(\epsilon)$의 비율로 기하급수적으로 감소함을 보였다.
• 차원에 독립적인 오차 보장을 달성하여 오직 $\epsilon$과 조건수 $\kappa$에만 스케일링되며, 고차원 설정에 적합하다.