[논문 리뷰] A spectral algorithm for robust regression with subgaussian rates

Jules Depersin|arXiv (Cornell University)|2020. 07. 12.

Advanced Statistical Methods and Models참고 문헌 41인용 수 4

한 줄 요약

이 논문은 적은 가정 조건 하에서도 안정적인 선형 회귀를 위한 스펙트럼 알고리즘을 제시한다. 유한한 네 번째 모멘트와 적대적 이상치의 존재만을 요구하며, 서브가우시안 오차율을 달성한다. 평균 추정에 쓰이는 스펙트럼 방법을 회귀 설정에 적응시키고, 새로운 경험 과정을 도입함으로써, 선형에서 이차 시간 복잡도로의 계산 복잡도를 확보함으로써 최적의 통계적 성능을 확보한다. 이는 실용적인 구현을 가능하게 하며, 이상적인 가우시안 속도 경계를 충족시킨다.

ABSTRACT

We study a new linear up to quadratic time algorithm for linear regression in the absence of strong assumptions on the underlying distributions of samples, and in the presence of outliers. The goal is to design a procedure which comes with actual working code that attains the optimal sub-gaussian error bound even though the data have only finite moments (up to $L_4$) and in the presence of possibly adversarial outliers. A polynomial-time solution to this problem has been recently discovered but has high runtime due to its use of Sum-of-Square hierarchy programming. At the core of our algorithm is an adaptation of the spectral method introduced for the mean estimation problem to the linear regression problem. As a by-product we established a connection between the linear regression problem and the furthest hyperplane problem. From a stochastic point of view, in addition to the study of the classical quadratic and multiplier processes we introduce a third empirical process that comes naturally in the study of the statistical properties of the algorithm.

연구 동기 및 목표

• 약한 모멘트 가정과 적대적 이상치 하에서도 최적의 통계적 성능을 유지하면서 계산적으로 효율적인 회귀 알고리즘을 개발하는 것.
• 서브가우시안 오차율—즉, 이상적인 i.i.d. 가우시안 케이스와 동일한 수준—을 달성하면서 서브가우시안 또는 유한한 데이터가 필요로 하지 않는 것.
• 이론적 보장이 통계적 정확성과 계산 효율성 양면에서 확보된, 실제 구현 가능한 알고리즘을 제공하는 것.
• O(Nd)에서 O(N²d)의 이론적 런타임을 확립하여, 꼬리가 두꺼운 또는 손상된 분포를 가진 실세계 데이터셋에 실용적으로 적용 가능하게 하는 것.
• 이론적 안정 추정기와 실용적, 코드로 실행 가능한 알고리즘 간 격차를 메우며, 유한 표본 성능이 뛰어난 알고리즘을 확립하는 것.

제안 방법

• 이전에 [35]에서 사용된 평균 추정에 대한 스펙트럼 방법을 설계 행렬과 반응 벡터의 변환을 통해 선형 회귀 설정으로 일반화한다.
• 데이터의 블록별 분해를 통해 경험 과정을 구성하고, 농도 불확실성 불등식을 사용해 편차를 통제한다.
• 기존의 이차 및 다중자 경험 과정 외에, 알고리즘의 통계적 행동 분석에 핵심적인 새로운 경험 과정을 도입한다.
• 최상위 특이벡터 계산을 핵심 계산 원리로 사용하여 선형에서 이차 시간 복잡도를 달성한다.
• VC 차원 경계와 [13]의 농도 결과를 적용하여 경험 과정의 편차를 통제하고 서브가우시안 尾 불확실성 경계를 확보한다.
• 정제 및 블록 선택 전략을 통합하여 이상치에 대해 강건성을 확보하면서도 통계적 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 유한한 네 번째 모멘트와 적대적 이상치만을 가정할 때, 계산적으로 효율적인 알고리즘이 선형 회귀에서 서브가우시안 오차율을 달성할 수 있는가?
• RQ2 평균 추정에서의 스펙트럼 방법은 어떻게 선형 회귀 설정으로 일반화되어 강건성과 최적의 통계적 성능을 확보할 수 있는가?
• RQ3 꼬리가 두꺼운 회귀에서 최적의 서브가우시안 속도를 달성하기 위해 필요한 최소한의 계산 비용은 얼마인가?
• RQ4 실용적이고 코드로 실행 가능한 알고리즘은 약한 분포 가정 하에서도 이상적인 가우시안 설정에서 MLE/OLS의 이론적 성능을 따라할 수 있는가?
• RQ5 스펙트럼 회귀 알고리즘 분석에서 자연스럽게 나타나는 새로운 경험 과정의 구조는 무엇이며, 어떻게 통제할 수 있는가?

주요 결과

• 알고리즘은 최적의 서브가우시안 오차율을 달성하며, i.i.d. 가우시안 프레임워크에서 MLE/OLS의 편차 경계와 동일한 성능을 보인다. 이는 오직 L⁴-유한 모멘트 조건만을 요구함에도 불구하고 가능하다.
• 약한 모멘트 가정 하에서 고확률(1−δ)로 추정 오차가 O(√(log(1/δ)/N)) 이내로 제한되며, 이는 서브가우시안 케이스와 동일한 속도를 달성한다.
• 알고리즘의 런타임은 최선의 경우 O(Nd), 최악의 경우 O(N²d)로, 대규모 데이터셋에 대해 확장 가능하다.
• 이 방법은 선형 회귀와 가장 먼 초평면 문제 사이에 새로운 연결 고리를 설정하여, 안정 추정에 대한 새로운 기하학적 통찰을 제공한다.
• 분석 과정에서 서브가우시안 편차 경계를 증명하는 데 필수적인 새로운 경험 과정을 도입하고 통제한다.
• 고확률(≥ 1−1/32)로 알고리즘의 오차는 최적의 서브가우시안 속도의 상수 배 이내로 제한되며, 이는 적대적 오염 조건 하에서도 성립한다.