[논문 리뷰] A Hybrid Stochastic Optimization Framework for Stochastic Composite Nonconvex Optimization

Quoc Tran-Dinh, Nhan H. Pham외 2명|arXiv (Cornell University)|2019. 07. 08.

Stochastic Gradient Optimization Techniques참고 문헌 79인용 수 10

한 줄 요약

이 논문은 복합 비볼록 문제를 위한 단일 루프 확률적 최적화 프레임워크를 개발하기 위해 SARAH와 SGD 추정기를 조합한 새로운 하이브리드 확률적 추정기인 하이브리드 추정기를 제안한다. 표준 가정 하에서 이 방법은 $\mathcal{O}(\sigma^3\varepsilon^{-1} + \sigma\varepsilon^{-3})$의 최고의 알려진 오ракูล 복잡도를 달성하며, 이는 더 이상 조정이 필요로 하지 않는 더 단순하고 효율적인 구현을 가능하게 하면서 이중 루프 최신 기법과 동일한 성능을 보인다.

ABSTRACT

We introduce a new approach to develop stochastic optimization algorithms for a class of stochastic composite and possibly nonconvex optimization problems. The main idea is to combine two stochastic estimators to create a new hybrid one. We first introduce our hybrid estimator and then investigate its fundamental properties to form a foundational theory for algorithmic development. Next, we apply our theory to develop several variants of stochastic gradient methods to solve both expectation and finite-sum composite optimization problems. Our first algorithm can be viewed as a variant of proximal stochastic gradient methods with a single-loop, but can achieve $\mathcal{O}(σ^3\varepsilon^{-1} + σ\varepsilon^{-3})$-oracle complexity bound, matching the best-known ones from state-of-the-art double-loop algorithms in the literature, where $σ> 0$ is the variance and $\varepsilon$ is a desired accuracy. Then, we consider two different variants of our method: adaptive step-size and restarting schemes that have similar theoretical guarantees as in our first algorithm. We also study two mini-batch variants of the proposed methods. In all cases, we achieve the best-known complexity bounds under standard assumptions. We test our methods on several numerical examples with real datasets and compare them with state-of-the-arts. Our numerical experiments show that the new methods are comparable and, in many cases, outperform their competitors.

연구 동기 및 목표

• 복합 비볼록 문제를 위한 개선된 오라클 복잡도와 낮은 구현 복잡도를 갖춘 새로운 확률적 최적화 프레임워크를 개발하는 것.
• 이중 루프 방법의 이론적 성능을 유지하면서도 광범위한 매개변수 조정이 필요로 하지 않는 단일 루프 알고리즘을 설계하는 것.
• SARAH의 분산 감소 효과와 SGD의 비편향 성질을 볼록 하이브리드 추정기를 통해 조합하여 수렴 안정성을 향상시키는 것.
• 표준 미세도 및 볼록성 가정 하에서 하이브리드 추정기의 이론적 보장을 확립하고 복잡도 한계를 유도하는 것.
• 실제 데이터셋에서의 방법을 실증적으로 검증하고 최신 알고리즘들과의 성능을 비교하는 것.

제안 방법

• 핵심 혁신은 SARAH 추정기와 비편향된 SGD 추정기를 볼록 조합으로 조합하여 편향되지만 분산이 감소된 기울기 근사치를 만드는 하이브리드 확률적 추정기이다.
• 이중 루프 메커니즘을 요구하지 않도록 적응형 단계 크기와 재시작 전략을 사용하는 단일 루프 구조를 사용한다.
• 이론적 분석은 하이브리드 추정기의 성질, 특히 유한한 분산과 향상된 수렴 속도를 활용하여 복잡도 한계를 도출한다.
• 프레임워크는 기대값 유형과 유한합 유형의 복합 최적화 문제에 모두 적용되며, 각 설정에 대해 복잡도 한계가 도출된다.
• 대규모 데이터셋에 대응하기 위해 마이너스배치 변형이 개발되어 표준 가정 하에서도 최적의 복잡도를 유지한다.
• 분석은 기존의 리아푸노프 함수와 재귀적 경계를 활용하여 기울기 추정기의 기대 노름을 제어함으로써 날카로운 복잡도 보장을 이끌어낸다.

실험 결과

연구 질문

• RQ1 SARAH와 SGD를 조합한 하이브리드 추정기가 기존의 이중 루프 방법보다 나은 또는 동일한 오라클 복잡도를 달성할 수 있는가?
• RQ2 하이브리드 추정기에 기반한 단일 루프 알고리즘이 구현 복잡도를 줄이면서도 수렴 보장을 유지할 수 있는가?
• RQ3 하이브리드 추정기가 수렴 속도를 희생시키지 않고 적응형 단계 크기와 재시작 전략을 지원할 수 있는가?
• RQ4 표준 가정 하에서 복합 비볼록 문제에 대해 제안된 방법의 이론적 오라클 복잡도는 무엇인가?
• RQ5 실제 세계 데이터셋에서 최신 알고리즘들과 비교해 본 결과, 방법의 성능은 어떻게 되는가?

주요 결과

• 제안된 알고리즘은 $\mathcal{O}(\sigma^3\varepsilon^{-1} + \sigma\varepsilon^{-3})$의 오라클 복잡도를 달성하며, 이는 이중 루프 방법에서의 최고의 알려진 한계와 일치한다.
• 이 방법은 SVRG와 SAGA와 같은 이중 루프 기법의 복잡도를 따라가며, 복합 비볼록 최적화를 위한 첫 번째 단일 루프 확률적 알고리즘이다.
• 하이브리드 추정기는 분산 감소 성질 덕분에 더 큰 또는 일정한 단계 크기를 사용할 수 있어 실용적인 수렴 안정성을 향상시킨다.
• 적응형 단계 크기 및 재시작 변형은 기본 알고리즘과 동일한 이론적 복잡도 한계를 유지한다.
• 마이너스배치 확장은 최적의 복잡도를 유지하여 대규모 문제에 대한 확장성을 보장한다.
• 실제 데이터셋에서의 수치 실험 결과, 방법은 기존 최신 기법들과 비교해 수렴 속도나 정확도 면에서 유사하거나 뛰어난 성능을 보였다.