[논문 리뷰] A SMART Stochastic Algorithm for Nonconvex Optimization with Applications to Robust Machine Learning

Aleksandr Y. Aravkin, Damek Davis|arXiv (Cornell University)|2016. 10. 04.

Stochastic Gradient Optimization Techniques참고 문헌 8인용 수 12

한 줄 요약

이 논문은 깨끗한 데이터에 대해 강건한 모델을 피팅하면서 동시에 이상치를 탐지하고 제거하는 새로운 스토하스틱 프록시멀-그리디언 알고리즘인 SMART를 소개한다. ε-정확도에 도달하기 위해 O(n^{2/3}/ε)개의 그래디언트 평가를 수행하며, 이는 전체 그래디언트 방법보다 n^{1/3} 빠르다. 이는 오염된 데이터셋에서 효율적이고 확장 가능한 강건한 기계학습을 가능하게 한다.

ABSTRACT

In this paper, we show how to transform any optimization problem that arises from fitting a machine learning model into one that (1) detects and removes contaminated data from the training set while (2) simultaneously fitting the trimmed model on the uncontaminated data that remains. To solve the resulting nonconvex optimization problem, we introduce a fast stochastic proximal-gradient algorithm that incorporates prior knowledge through nonsmooth regularization. For datasets of size $n$, our approach requires $O(n^{2/3}/\varepsilon)$ gradient evaluations to reach $\varepsilon$-accuracy and, when a certain error bound holds, the complexity improves to $O(κn^{2/3}\log(1/\varepsilon))$. These rates are $n^{1/3}$ times better than those achieved by typical, full gradient methods.

연구 동기 및 목표

• 모델 피팅 과정에서 이상치를 동시에 탐지하고 제거함으로써 오염된 데이터가 존재하는 상황에서의 강건한 기계학습 문제를 해결한다.
• 자르기 추정량에 대한 기존의 번갈아 최소화 및 전체 그래디언트 방법의 한계를 극복한다. 이는 느린 속도 또는 비볼록 문제에 잘 맞지 않는다는 점에서 비롯된다.
• 비연속 정규화를 통합하고 비볼록, 비연속적인 특성을 다룰 수 있는 스케일러블한 스토하스틱 최적화 프레임워크를 개발한다.
• 완전히 비볼록 문제에 대해 증명 가능한 수렴성을 확보한다. 이는 스토하스틱 최적화 문헌에서의 빈도가 있는 갭이다.
• 기존 방법이 계산 비용으로 인해 실패하는 대규모 환경, 예를 들어 강건한 주성분 분석 및 동차성 추정과 같은 상황에서 자르기 추정량의 실용적 적용을 가능하게 한다.

제안 방법

• n개의 데이터 포인트에서 가장 작은 h개의 손실 값의 합을 최소화하는 비볼록, 비연속 최적화 문제로 자르기 M-추정 문제를 수식화한다.
• 무작위로 그래디언트와 프록시멀 스텝을 샘플링하여 비연속 정규화를 다룰 수 있는 스토하스틱 프록시멀-그리디언트 알고리즘(SMART)을 제안한다.
• ℓ1나 노름과 같은 비연속 정규화 항을 통해 사전 지식을 통합하여 희박성과 강건성을 증진시킨다.
• 목적함수 내 비미분 가능한 순서 통계량을 다루기 위해 스무딩 기법을 활용하여 그래디언트 기반 최적화를 가능하게 한다.
• 손실 값에 기반하여 데이터 포인트를 동적으로 샘플링하는 전략을 도입하여 영향력이 큰, 이상치 영향을 받을 수 있는 샘플에 집중한다.
• 약한 가정 하에 정류점으로의 수렴성을 증명하며, 완전히 비볼록, 비연속 문제에 대해 증명 가능한 수렴성을 확보한 최초의 스토하스틱 알고리즘을 확립한다.

실험 결과

연구 질문

• RQ1 비볼록, 비연속 자르기 M-추정 문제를 증명 가능한 수렴성을 갖는 스토하스틱 알고리즘으로 설계할 수 있는가?
• RQ2 ε-정확도에 도달하기 위해 SMART의 수렴 속도는 전체 그래디언트 방법 대비 그래디언트 평가 수에서 어떻게 비교되는가?
• RQ3 고차원적이고 오염된 데이터셋에서, SMART는 얼마나 효과적으로 이상치를 탐지하고 제거하면서 나머지 데이터에 대해 강건한 모델을 피팅할 수 있는가?
• RQ4 대규모 기계학습 응용 분야에서 기존의 전체 그래디언트 또는 번갈아 최소화 방법보다 SMART가 더 잘 스케일링되는가?
• RQ5 스파urious 대응관계가 존재하는 실제 응용 분야, 예를 들어 강건한 주성분 분석 및 동차성 추정과 같은 작업에 SMART를 효과적으로 적용할 수 있는가?

주요 결과

• SMART는 ε-정확도에 도달하기 위해 O(n^{2/3}/ε)의 그래디언트 평가 복잡도를 달성하며, 이는 일반적인 전체 그래디언트 방법보다 n^{1/3} 빠르다.
• 일정한 오차 경계 하에서 복잡도는 O(κn^{2/3}log(1/ε))로 향상되며, 여기서 κ는 조건수이다. 이는 수렴 속도를 더욱 향상시킨다.
• A 및 B 데이터셋에서 강건한 주성분 분석에 대해 SMART는 이상치를 성공적으로 탐지하고 제거한다. 일부 이상치는 데이터 구조나 평가 패턴에 따라 남거나 사라진다.
• 동차성 추정에서 SMART는 627개의 초기 대응관계 중에서 오직 최상의 10%의 점 대응관계만 효과적으로 식별하고 유지하며, RANSAC와 유사한 타당한 모자이크를 생성하지만 더 뛰어난 확장성을 보인다.
• 특히 대규모 데이터셋에서 지역 최소값을 피하고 반복당 비용을 감소시킴으로써, 그리디한 번갈아 최소화 방법보다 성능이 뛰어나다.
• 합성 및 실제 응용 분야에서 신뢰할 수 있는 이상치 탐지와 강건한 모델 피팅을 보여주며, 고차원적이고 조합적으로 복잡한 문제에 대해서도 유사한 성능을 발휘한다.