[논문 리뷰] Sever: A Robust Meta-Algorithm for Stochastic Optimization

Ilias Diakonikolas, Gautam Kamath외 4명|arXiv (Cornell University)|2018. 03. 07.

Machine Learning and Algorithms참고 문헌 41인용 수 67

한 줄 요약

Sever는 어떤 기본 학습기에도 래핑될 때 강건한 메타 알고리즘으로, 그래디언트 데이터의 상위 특이 벡터를 사용하여 이상치를 탐지하고 제거합니다. 강력한 이론과 확장 가능한 실무가 스팸 및 약물 설계 작업에서 입증되었습니다.

ABSTRACT

In high dimensions, most machine learning methods are brittle to even a small fraction of structured outliers. To address this, we introduce a new meta-algorithm that can take in a base learner such as least squares or stochastic gradient descent, and harden the learner to be resistant to outliers. Our method, Sever, possesses strong theoretical guarantees yet is also highly scalable -- beyond running the base learner itself, it only requires computing the top singular vector of a certain $n imes d$ matrix. We apply Sever on a drug design dataset and a spam classification dataset, and find that in both cases it has substantially greater robustness than several baselines. On the spam dataset, with $1\%$ corruptions, we achieved $7.4\%$ test error, compared to $13.4\%-20.5\%$ for the baselines, and $3\%$ error on the uncorrupted dataset. Similarly, on the drug design dataset, with $10\%$ corruptions, we achieved $1.42$ mean-squared error test error, compared to $1.51$-$2.33$ for the baselines, and $1.23$ error on the uncorrupted dataset.

연구 동기 및 목표

• 확률적 최적화에서 임의의 고차원 이상치에 대한 강건성 문제를 다룬다.
• 회귀, 분류, 및 비컨벡스 모델에 적용 가능한 일반적이고 확장 가능한 프레임워크를 제공한다.
• 문제 차원에 의존하지 않는 이론적 보장을 제공한다.
• 실제 데이터셋(스팸 및 약물 설계)에서 실용적 효과를 입증한다.

제안 방법

• 가능한 뒤섞인(오염된) 데이터 세트에서 기본 학습기를 실행하여 매개변수 w를 얻는다.
• w에서 각 포인트의 그래디언트를 계산하고 중심화된 그래디언트 행렬 G를 형성한다.
• G의 상위 특이 벡터 v를 계산하여 지배적인 그래디언트 방향을 포착한다.
• 각 중심화된 그래디언트를 v에 대한 제곱 투사로 정의한 이상치 점수 tau_i를 정의한다.
• 점수가 높은 포인트를 필터링하고 학습 절차를 다시 수행한다; 더 이상 제거되지 않을 때까지 반복한다.
• 완만한 조건에서 Sever가 실제 목적함수의 감마 근사 임계점을 보장한다는 이론적 보장을 제공하고, 차원에 의존하지 않는 근사적 표본 복잡도와 강건성을 보인다.

실험 결과

연구 질문

• RQ1 임의의 이상치 ε 분율을 갖는 확률적 최적화에 대해 Sever가 강건성 보장을 제공할 수 있는가?
• RQ2 오염하에 회귀 및 분류와 같은 일반적인 학습 작업에서 Sever의 성능은 어떠한가?
• RQ3 Sever는 차원 독립적인 오차 보장과 실제 데이터에서의 실용적 확장성을 제공하는가?

주요 결과

• Sever는 약한 무거운 꼬리 분포 가정하에 차원 독립적인 오차 항으로 임의의 이상치에 대한 강건성을 달성한다(정리 2.1).
• Enron 스팸 데이터세트에서 1% 오염 시 Sever는 7.4%의 테스트 오류를 얻고, 기준은 13.4–20.5%(오염 없이 3%)이다.
• 약물 설계 데이터 세트에서 10% 오염 시 Sever는 1.42의 평균 제곱 오차 테스트 오류를 달성하고, 기준은 1.51–2.33(오염되지 않은 데이터에서 1.23)이다.
• 이 방법은 실제로 확장 가능하며, n×d 그래디언트 행렬의 상위 특이 벡터를 계산하고 간단한 필터링 단계만 필요하다.
• Sever는 회귀 및 분류 작업 전반의 실험에서 여러 자연스러운 기준 이상치 탐지기보다 우수하다.
• 이 논문은 ε-오염하에서 거의 최적의 표본 복잡도에 가까운 일반화 선형 모델에 대한 구체적인 응용을 제공한다.