[논문 리뷰] A Variance Reduction Method for Non-Convex Optimization with Improved Convergence under Large Condition Number

Zaiyi Chen, Tianbao Yang|arXiv (Cornell University)|2018. 09. 18.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 조건 수가 클 경우 비볼록 최적화 문제에 대해 비연속적인 볼록 항이 포함된 새로운 SVRG 스타일의 가속화된 확률적 알고리즘을 제안하며, 큰 조건 수 하에서 개선된 그래디언트 복잡도를 달성한다. 증가하는 표본 추출 확률을 가진 단계별 평균 해를 도입함으로써, 이전의 SVRG 스타일 알고리즘보다 더 강력한 수렴 보장을 가능하게 하면서도 낮은 메모리 사용을 유지한다.

ABSTRACT

In this paper, we propose a new SVRG-style acceleated stochastic algorithm for solving a family of non-convex optimization problems whose objective consists of a sum of $n$ smooth functions and a non-smooth convex function. Our major goal is to improve the convergence of SVRG-style stochastic algorithms to stationary points under a setting with a large condition number $c$ - the ratio between the smoothness constant and the negative curvature constant. The proposed algorithm achieves the best known gradient complexity when $c\geq \Omega(n)$, which was achieved previously by a SAGA-style accelerated stochastic algorithm. Compared with the SAGA-style accelerated stochastic algorithm, the proposed algorithm is more practical due to its low memory cost that is inherited from previous SVRG-style algorithms. Compared with previous studies on SVRG-style stochastic algorithms, our theory provides much stronger results in terms of (i) reduced gradient complexity under a large condition number; and (ii) that the convergence is proved for a sampled stagewise averaged solution that is selected from all stagewise averaged solutions with increasing sampling probabilities instead of for a uniformly sampled solutions across all iterations.

연구 동기 및 목표

• 조건 수가 클 경우 SVRG 스타일 알고리즘이 비볼록 최적화에서 수렴 속도가 느려지는 문제를 해결하기 위해.
• smooth 함수의 합과 비연속적인 볼록 항이 포함된 비볼록 문제에 대해 그래디언트 복잡도를 향상시키기 위해.
• SAGA 스타일 방법과 유사한 수렴 보장을 달성하면서도 SVRG의 낮은 메모리 사용 장점을 유지하기 위해.
• 비균일하게 표본 추출된 단계별 평균 해에 대해 수렴성을 확립하기 위해.

제안 방법

• 알고리즘은 SVRG를 영감으로 삼은 분산 감소 메커니즘을 사용하며, 주기적으로 기울기의 스냅샷을 유지한다.
• 증가하는 표본 추출 확률을 가진 단계별 평균 전략을 적용하여 단계 간 해를 평균화한다.
• 고조건 수 하에서 그래디언트 복잡도를 감소시키기 위해 확률적 최적화의 가속 기법을 결합한다.
• 모든 단계별 평균 해에 대해 비균일 표본 추출 정책을 활용하여 정류점으로의 수렴을 보장한다.
• SAGA 스타일 방법과는 달리 현재 반복값과 단일 스냅샷 기울기만 저장함으로써 낮은 메모리 사용을 유지한다.

실험 결과

연구 질문

• RQ1 SVRG 스타일 알고리즘이 조건 수가 큰 비볼록 문제에 대해 개선된 그래디언트 복잡도를 달성할 수 있는가?
• RQ2 균일하게 표본 추출된 해가 아닌 비균일하게 표본 추출된 단계별 평균 해에 대해 수렴을 증명할 수 있는가?
• RQ3 고조건 수 하에서 SVRG 스타일 방법의 수렴 속도를 SAGA 스타일 가속 방법과 비교하거나 초월할 수 있는가?
• RQ4 비볼록 최적화에서 SAGA 스타일 수렴 성능을 달성하면서도 낮은 메모리 사용을 유지할 수 있는가?

주요 결과

• 조건 수 c ≥ Ω(n)일 경우, 제안된 알고리즘이 기존 SAGA 스타일 결과와 동일한 최고의 알려진 그래디언트 복잡도를 달성한다.
• 단계별 평균 해에 대해 증가하는 표본 추출 확률을 사용함으로써, 이전의 SVRG 스타일 방법보다 더 강력한 이론적 수렴 보장을 제공한다.
• 낮은 메모리 비용을 유지함으로써, 유사한 수렴 성능에도 불구하고 SAGA 스타일 방법보다 더 실용적이다.
• 비균일 표본 추출을 통한 단계별 평균 해의 수렴이 증명되어, 이전 연구에서의 균일 표본 추출 가정을 개선한다.