[논문 리뷰] Accelerated Stochastic Algorithms for Nonconvex Finite-sum and Multi-block Optimization

Guanghui Lan, Yu Yang|arXiv (Cornell University)|2018. 05. 14.

Stochastic Gradient Optimization Techniques참고 문헌 26인용 수 5

한 줄 요약

이 논문은 비볼록 유한합 및 다중 블록 최적화 문제를 위한 두 가지 랜덤화된 가속화 확률적 알고리즘인 RapGrad와 RapDual을 제안한다. 랜덤화된 블록 샘플링과 프록시멀 그래디언트 기법을 활용하여, 배치 방법 대비 최대 $\mathcal{O}(\sqrt{m})$ 정도의 그래디언트 계산 횟수를 감소시키며, RapDual은 특히 조건수 $L/\mu \geq m$ 인 경우 블록 업데이트 횟수를 유사한 비율로 줄여 기존 방법들보다 수렴 속도와 효율성 면에서 뛰어나다.

ABSTRACT

In this paper, we present new stochastic methods for solving two important classes of nonconvex optimization problems. We first introduce a randomized accelerated proximal gradient (RapGrad) method for solving a class of nonconvex optimization problems consisting of the sum of $m$ component functions, and show that it can significantly reduce the number of gradient computations especially when the condition number $L/μ$ (i.e., the ratio between the Lipschitz constant and negative curvature) is large. More specifically, RapGrad can save up to ${\cal O}(\sqrt{m})$ gradient computations than existing deterministic nonconvex accelerated gradient methods. Moreover, the number of gradient computations required by RapGrad can be ${\cal O}(m^\frac{1}{6} L^\frac{1}{2} / μ^\frac{1}{2})$ (at least ${\cal O}(m^\frac{2}{3})$) times smaller than the best-known randomized nonconvex gradient methods when $L/μ\ge m$. Inspired by RapGrad, we also develop a new randomized accelerated proximal dual (RapDual) method for solving a class of multi-block nonconvex optimization problems coupled with linear constraints. We demonstrate that RapDual can also save up to a factor of ${\cal O}(\sqrt{m})$ projection subproblems than its deterministic counterpart, where $m$ denotes the number of blocks. To the best of our knowledge, all these complexity results associated with RapGrad and RapDual seem to be new in the literature. We also illustrate potential advantages of these algorithms through our preliminary numerical experiments.

연구 동기 및 목표

• 큰 조건수 $L/\mu$ 를 가진 비볼록 유한합 및 다중 블록 최적화 문제를 해결하는 데 드는 높은 계산 비용을 해결하기 위해.
• 기존의 배치 및 비가속화 확률적 방법들이 요구하는 그래디언트 및 블록 업데이트 횟수를 줄이기 위해.
• 비볼록 문제의 구조적 특성을 활용하여 향상된 수렴 속도를 달성하는 새로운 랜덤화된 가속 알고리즘을 개발하기 위해.
• 이론적 복잡도 분석과 초보적 수치 실험을 통해 이러한 알고리즘의 효과성을 입증하기 위해.
• 선형 제약 조건이 있는 비볼록 다중 블록 문제에서 랜덤화가 수렴 속도를 가속화하는 데 미치는 잠재력을 탐색하기 위해.

제안 방법

• $m$개의 구성 요소를 가진 비볼록 유한합 문제를 위한 랜덤화된 가속 프록시멀 그래디언트 방법인 RapGrad를 제안하며, 확률적 그래디언트 샘플링과 모멘타ム 가속 기법을 사용한다.
• 비볼록 문제를 일련의 볼록 하위문제로 변환하기 위해 프록시멀 포인트 재구성 기법을 활용하여, 랜덤라이즈드 듀얼 방법을 통해 효율적인 해법을 가능하게 한다.
• 선형 제약 조건이 있는 다중 블록 비볼록 문제를 위한 랜덤화된 가속 프리멀-듀얼 알고리즘인 RapDual을 도입하며, 블록 단위 샘플링과 듀얼 업데이트를 활용한다.
• 리프시츠 상수 $L$ 과 음의 곡률 파라미터 $\mu$ 에 따라 달라지는 듀얼 스텝 사이즈 규칙을 사용하여, 약한 볼록성 가정 하에 수렴을 보장한다.
• 하위문제의 내부 반복을 조기 종료하여 계산 비용을 줄이면서도 해의 품질을 유지한다.
• 알고리즘 실행을 위해 $\mu$ 또는 그에 가까운 상한값을 사전에 알고 있으며, $m$, $L$, $\mu$ 를 기반으로 복잡도를 분석한다.

실험 결과

연구 질문

• RQ1 큰 조건수를 가진 비볼록 유한합 문제에서 랜덤화된 가속화가 그래디언트 계산 횟수를 줄일 수 있는가?
• RQ2 기존의 비볼록 확률적 및 가속화 방법들과 비교해 볼 때, 제안된 RapGrad 방법의 수렴 속도는 어떠한가?
• RQ3 선형 제약 조건이 있는 다중 블록 비볼록 최적화 문제에서 랜덤화가 블록 업데이트 횟수를 상당히 줄일 수 있는가?
• RQ4 RapDual의 이론적 복잡도는 $m$ 과 $L/\mu$ 에 대해 결정적 배치 방법 대비 어떤 이점이 있는가?
• RQ5 내부 반복의 조기 종료가 알고리즘의 전체 수렴 성능 및 계산 비용에 어떤 영향을 미치는가?

주요 결과

• RapGrad는 조건수 $L/\mu$ 가 클수록 배치 비볼록 가속 그래디언트 방법 대비 최대 $\mathcal{O}(\sqrt{m})$ 정도의 그래디언트 계산 횟수를 감소시킨다.
• 조건수 $L/\mu \geq m$ 인 경우, RapGrad가 요구하는 그래디언트 계산 횟수는 기존에 알려진 최고의 랜덤화 비볼록 그래디언트 방법 대비 $\mathcal{O}(m^{1/6}L^{1/2}/\mu^{1/2})$ 배 더 적게 필요하다.
• RapDual은 배치 대비 프리멀 블록 업데이트 횟수를 최대 $\mathcal{O}(\sqrt{m})$ 배 줄일 수 있다.
• 수치 실험 결과, RapGrad와 RapDual의 랜덤화된 버전이 목적 함수 값과 타당성 면에서 배치 대비 더 빠르게 수렴하는 것으로 나타났다.
• RapDual에서 내부 반복의 조기 종료는 총 블록 업데이트 횟수를 크게 줄였으며, 동시에 제약 위반 정도는 낮게 유지하고 좋은 목적 함수 값을 확보했다.
• 압축 감지 및 비볼록 희박 복원 문제에서 ADMM 및 기타 기존 방법들보다 수렴 속도 면에서 뛰어난 성능을 보였다.