[논문 리뷰] NESTT: A Nonconvex Primal-Dual Splitting Method for Distributed and Stochastic Optimization

Davood Hajinezhad, Mingyi Hong외 2명|arXiv (Cornell University)|2016. 05. 25.

Stochastic Gradient Optimization Techniques참고 문헌 24인용 수 23

한 줄 요약

NESTT는 분산 및 스토하스틱 최적화를 위한 비볼록 원천-이중 분할 알고리즘으로, $\epsilon$-정류해를 달성하기 위해 $\mathcal{O}((\sum_{i=1}^{N}\sqrt{L_{i}/N})^{2}/\epsilon)$개의 그래디언트 평가를 수행한다—표준 경사하강법 대비 최대 $\mathcal{O}(N)$배 빠른 성능을 보인다. 이 알고리즘은 비볼록 $\ell_{1}$-벌점이 부여된 이차 문제에 대해 Q선형 수렴을 가능하게 하며, SAGA/SAG/IAG과 같은 원천-단독 방법과의 근본적인 연결 고리를 드러낸다.

ABSTRACT

We study a stochastic and distributed algorithm for nonconvex problems whose objective consists of a sum of $N$ nonconvex $L_i/N$-smooth functions, plus a nonsmooth regularizer. The proposed NonconvEx primal-dual SpliTTing (NESTT) algorithm splits the problem into $N$ subproblems, and utilizes an augmented Lagrangian based primal-dual scheme to solve it in a distributed and stochastic manner. With a special non-uniform sampling, a version of NESTT achieves $ε$-stationary solution using $\mathcal{O}((\sum_{i=1}^N\sqrt{L_i/N})^2/ε)$ gradient evaluations, which can be up to $\mathcal{O}(N)$ times better than the (proximal) gradient descent methods. It also achieves Q-linear convergence rate for nonconvex $\ell_1$ penalized quadratic problems with polyhedral constraints. Further, we reveal a fundamental connection between primal-dual based methods and a few primal only methods such as IAG/SAG/SAGA.

연구 동기 및 목표

• 비볼록, 비가속도 문제에 대해 유한합 구조를 가진 분산 및 스토하스틱 최적화 알고리즘을 개발하는 것.
• 구성 함수의 부드러움 정도가 상이할 경우를 포함한 비볼록 설정에서 기존 경사하강법보다 더 빠른 수렴을 달성하는 것.
• 다각형 제약 조건이 있는 비볼록 $\ell_{1}$-벌점이 부여된 이차 문제에 대해 Q선형 수렴을 확립하는 것.
• 비볼록 및 볼록 모두의 설정에서 원천-이중 방법과 원천-단독 방법(SAGA, SAG, IAG 등) 간의 이론적 연결 고리를 드러내는 것.

제안 방법

• 변수 $z$를 $N$개의 국지 복제본 $x_i$로 분할하고, 등가 제약 조건 $x_i = z$를 보완 라그랑주 스펙트럼을 통해 완화한다.
• 각 반복에서 한 개의 에이전트를 무작위로 비균일하게 선택하여 국지 변수 $x_i$를 업데이트한다.
• 각 반복은 선택된 $x_i$에 대해 프록시미티 업데이트를 수행한 후, 라그랑주 승수 $\lambda_i$에 대해 이중 상승 단계를 수행한다.
• 이 방법은 이중 변수를 통해 기억 메커니즘과 유사한 방식을 활용하여 과거 그래디언트 정보를 저장함으로써 수렴 속도를 향상시킨다.
• 특수한 비균일 샘플링 전략을 도입하여 $\epsilon$-정류해에 도달하기 위해 필요한 총 그래디언트 평가 수를 최소화한다.
• 이론적 분석은 원천-이중 최적성 갭을 경계하고, 적절한 가정 하에 하향 수렴 및 Q선형 수렴 속도를 확립하는 데 기반한다.

실험 결과

연구 질문

• RQ1 원천-이중 분할 방법이 비볼록, 분산, 스토하스틱 최적화에서 표준 경사하강법보다 더 빠른 수렴을 달성할 수 있는가?
• RQ2 제안된 NESTT 알고리즘이 다각형 제약 조건이 있는 비볼록 $\ell_{1}$-벌점이 부여된 이차 문제에서 Q선형 수렴을 달성하는가?
• RQ3 원천-이중 방법의 이중 변수를 과거 그래디언트의 기억 메커니즘으로 해석할 수 있는가? 이는 SAGA/SAG/IAG과 같은 원천-단독 방법을 비볼록 및 비가속도 영역으로 일반화할 수 있는가?
• RQ4 비균일 부드러움 상수 $L_i$를 가진 분산 비볼록 유한합 문제에서 $\epsilon$-정류해에 도달하기 위한 최적의 그래디언트 복잡도는 무엇인가?
• RQ5 비균일 샘플링이 분산 비볼록 최적화에서 수렴에 어떻게 기여하는가?

주요 결과

• NESTT는 $\mathcal{O}((\sum_{i=1}^{N}\sqrt{L_{i}/N})^{2}/\epsilon)$개의 그래디언트 평가를 통해 $\epsilon$-정류해를 달성하며, 최악의 경우 표준 경사하강법 대비 최대 $\mathcal{O}(N)$배 빠른 성능을 보인다.
• 다각형 제약 조건이 있는 비볼록 $\ell_1$-벌점이 부여된 이차 문제에서는 NESTT가 Q선형 수렴을 보이며, 이는 이 설정에서 스토하스틱 및 분산 알고리즘으로서는 최초의 사례이다.
• NESTT의 이중 변수는 과거 그래디언트의 기억으로 기능하여, 이 알고리즘이 SAGA/SAG/IAG를 비볼록 및 비가속도 영역으로 일반화할 수 있도록 한다.
• 이 방법은 원천-이중 및 원천-단독 방법 간의 이론적 연결 고리를 확립하여, 둘을 동일한 프레임워크 내에 통합한다.
• 수렴 분석은 일반적인 비볼록 및 비가속도 조건 하에서 정류해 집합으로의 하향 수렴을 증명한다.
• 비균일 샘플링 덕분에 구성 함수의 부드러움 상수 $L_i$가 비균일할 경우에도 알고리즘이 수렴 보장을 유지한다.