[논문 리뷰] Estimate Sequences for Stochastic Composite Optimization: Variance Reduction, Acceleration, and Robustness to Noise

Andrei Kulunchakov, Julien Mairal|arXiv (Cornell University)|2019. 01. 25.

Stochastic Gradient Optimization Techniques참고 문헌 53인용 수 26

한 줄 요약

이 논문은 추정 수열을 사용한 확률적 복합 최적화를 위한 통합 프레임워크를 제안하며, SAGA, SVRG, MISO와 같은 분산 감소 방법을 통합하고 분석하는 데에 네스테로프의 접근 방식을 확장한다. 일반화된 수렴 증명을 제공하고, 새로운 강건한 알고리즘을 유도하며, 노이즈가 있는 환경에서 선형 수렴를 유지하는 새로운 가속된 SVRG 변종을 제안하여 안정성과 성능을 향상시킨다.

ABSTRACT

In this paper, we propose a unified view of gradient-based algorithms for stochastic convex composite optimization by extending the concept of estimate sequence introduced by Nesterov. More precisely, we interpret a large class of stochastic optimization methods as procedures that iteratively minimize a surrogate of the objective, which covers the stochastic gradient descent method and variants of the incremental approaches SAGA, SVRG, and MISO/Finito/SDCA. This point of view has several advantages: (i) we provide a simple generic proof of convergence for all of the aforementioned methods; (ii) we naturally obtain new algorithms with the same guarantees; (iii) we derive generic strategies to make these algorithms robust to stochastic noise, which is useful when data is corrupted by small random perturbations. Finally, we propose a new accelerated stochastic gradient descent algorithm and an accelerated SVRG algorithm with optimal complexity that is robust to stochastic noise.

연구 동기 및 목표

• SAGA, SVRG, MISO와 같은 기존의 확률적 최적화 방법들을 단일 이론적 프레임워크로 통합하고 일반화하기 위해.
• 광범위한 확률적 경사 하강 방법의 클래스에 대해 일반화되고 단순한 수렴 증명을 제공하기 위해.
• 수렴 보장을 동일하게 유지하면서도 확률적 노이즈에 대한 강건성을 향상시킨 새로운 알고리즘을 개발하기 위해.
• 더 나은 안정성과 수렴 속도를 갖는 새로운 가속된 확률적 경사 하강 방법과 노이즈에 강건한 가속된 SVRG 알고리즘을 설계하기 위해.

제안 방법

• 네스테로프의 추정 수열 개념을 확률적 복합 최적화에 확장하여, 알고리즘을 보조 목표 함수를 반복적으로 최소화하는 것으로 간주한다.
• 부드러운 부분 f의 이차 근사와 비부드러운 부분 ψ의 프록시멀 항을 조합한 보조 함수를 사용한다.
• 각 반복에서 분산 감소된 확률적 경사를 사용하여 추정 수열을 갱신하는 일반적인 알고리즘 템플릿을 도입한다.
• 두 단계 전략을 적용한다: 초기 일정한 스텝 사이즈 단계와 그 후의 적응형 가속 단계로, 수렴성과 노이즈에 대한 내성 균형을 위해 파라미터를 조정한다.
• 적응형 스텝 사이즈와 모멘타임 항을 사용한 새로운 가속 메커니즘을 적용하여 노이즈 하에서 더 빠른 수렴을 달성한다.
• 추정 수열의 성질과 노이즈 인식 파라미터 조정을 통한 분산 제어를 이용해 기대 부분 최적성에 대한 이론적 경계를 도출한다.

실험 결과

연구 질문

• RQ1 확률적 복합 최적화에서 분산 감소 방법을 분석하고 일반화하기 위한 통합 이론적 프레임워크를 개발할 수 있는가?
• RQ2 노이즈가 있는 경사 추정치를 처리하면서도 수렴 보장을 유지할 수 있도록 추정 수열을 어떻게 적응시킬 수 있는가?
• RQ3 SVRG 유형의 방법에서 가속과 노이즈에 대한 강건성을 달성하기 위해 필요한 최소한의 알고리즘 수정은 무엇인가?
• RQ4 노이즈가 있는 경사 하강에서 선형 수렴를 유지하는 새로운 가속된 확률적 경사 하강 방법을 설계할 수 있는가?

주요 결과

• 제안된 프레임워크는 통합된 추정 수열 접근 방식을 사용하여 SAGA, SVRG, MISO 및 관련 방법에 대해 일반화되고 단순한 수렴 증명을 제공한다.
• 이 방법은 동일한 수렴 보장을 갖는 새로운 알고리즘을 자연스럽게 생성하여 체계적인 알고리즘 설계를 가능하게 한다.
• 노이즈가 있는 경사 하강에 의해 손상된 경우에도 선형 수렴를 유지하는 새로운 가속된 SVRG 알고리즘을 도출하였다.
• 새로운 가속된 SGD 및 SVRG 변종은 노이즈에 대해 향상된 강건성을 보이며, 수렴 속도가 노이즈 분산과 문제 조건 수치에 따라 달라진다.
• 이론적 분석 결과, 적절한 파라미터 조정 하에서 알고리즘이 노이즈가 존재하는 상황에서도 기대값 기준으로 O(1/k²) 수렴 속도를 달성함을 보였다.
• 이 프레임워크는 초기 일정한 스텝 사이즈 단계와 그 후의 적응형 가속 단계로 구성된 두 단계 최적화 전략을 가능하게 하여, 더 나은 반복 복잡도 경계를 도출한다.