[논문 리뷰] An optimal randomized incremental gradient method

Guanghui Lan, Yi Zhou|arXiv (Cornell University)|2015. 07. 08.

Stochastic Gradient Optimization Techniques참고 문헌 25인용 수 40

한 줄 요약

이 논문은 유한합 볼록 최적화 문제에 대해 단일 반복당 한 개의 그래디언트만 계산하는 랜덤화된 원천-쌍대 그래디언트(RPDG) 방법을 제안하며, 기댓값과 높은 확률에서 결정론적 방법보다 ${\cal O}(\sqrt{m})$ 적은 그래디언트 평가 횟수를 기록함으로써 최적의 복잡도 한계를 달성한다. 이 방법은 랜덤화된 점진적 그래디언트 방법에 대한 새로운 하한 복잡도를 통해 최적성임이 입증된다.

ABSTRACT

In this paper, we consider a class of finite-sum convex optimization problems whose objective function is given by the summation of $m$ ($\ge 1$) smooth components together with some other relatively simple terms. We first introduce a deterministic primal-dual gradient (PDG) method that can achieve the optimal black-box iteration complexity for solving these composite optimization problems using a primal-dual termination criterion. Our major contribution is to develop a randomized primal-dual gradient (RPDG) method, which needs to compute the gradient of only one randomly selected smooth component at each iteration, but can possibly achieve better complexity than PDG in terms of the total number of gradient evaluations. More specifically, we show that the total number of gradient evaluations performed by RPDG can be ${\cal O} (\sqrt{m})$ times smaller, both in expectation and with high probability, than those performed by deterministic optimal first-order methods under favorable situations. We also show that the complexity of the RPDG method is not improvable by developing a new lower complexity bound for a general class of randomized methods for solving large-scale finite-sum convex optimization problems. Moreover, through the development of PDG and RPDG, we introduce a novel game-theoretic interpretation for these optimal methods for convex optimization.

연구 동기 및 목표

• 유한합 볼록 최적화 문제에서 매끄럽고 복합적인 항을 포함하는 경우에 대해 최적의 반복 복잡도를 달성하는 랜덤화된 점진적 그래디언트 방법을 개발하는 것.
• 원천-쌍대 최적성 갭과 해에 대한 반복값의 거리 기준으로 원천-쌍대 그래디언트(RPDG) 방법의 복잡도 한계를 설정하는 것.
• 일반적인 랜덤화 방법 클래스에 대해 새로운 하한 복잡도 한계를 유도하여 RPDG 방법의 복잡도가 더 이상 향상될 수 없음을 증명하는 것.
• 원천-쌍대 그래디언트(PDG) 및 RPDG 프레임워크를 개발하여 최적의 일阶 방법에 대한 게임 이론적 해석을 제공하는 것.

제안 방법

• 원천-쌍대 종료 기준을 사용하여 최적의 블랙박스 반복 복잡도를 달성하는 결정론적 원천-쌍대 그래디언트(PDG) 방법을 제안한다.
• 각 반복에서 랜덤으로 선택된 하나의 매끄러운 성분의 그래디언트만 계산하는 랜덤화된 원천-쌍대 그래디언트(RPDG) 방법을 개발한다.
• 원천-쌍대 최적성 갭과 반복값이 최적 해로부터의 거리로 수렴 기준을 설정하며, 에르고딕 반복 평균에 대해 수렴성을 분석한다.
• 해가 존재할 경우 강볼록성을 보장하기 위해 모odulus 1인 강볼록 정규화자 $\omega(x)$를 사용한다.
• 기대값과 높은 확률에서의 복잡도 한계를 도출하며, 유리한 조건 하에서 결정론적 최적 방법보다 $\mathcal{O}(\sqrt{m})$ 향상된 총 그래디언트 평가 횟수를 보여준다.
• 랜덤화된 점진적 그래디언트 방법에 대한 새로운 하한 복잡도 한계를 확립하여 RPDG 복잡도가 더 이상 향상될 수 없음을 증명한다.

실험 결과

연구 질문

• RQ1 유한합 볼록 문제에 대해 결정론적 최적 일阶 방법보다 더 낮은 그래디언트 평가 복잡도를 달성할 수 있는 랜덤화된 점진적 그래디언트 방법이 존재하는가?
• RQ2 제안된 랜덤화 방법의 복잡도는 최적이며, 이 최적성은 하한을 통해 공식적으로 증명될 수 있는가?
• RQ3 최적의 일阶 방법에 대한 게임 이론적 해석은 원천-쌍대 프레임워크에서 어떻게 도출되는가?
• RQ4 대규모 유한합 문제에서 랜덤 성분 선택의 영향은 수렴 속도와 그래디언트 평가 횟수에 어떤 영향을 미치는가?

주요 결과

• RPDG 방법은 기댓값과 높은 확률 모두에서 결정론적 최적 일阶 방법보다 ${\cal O}(\sqrt{m})$ 감소한 총 그래디언트 평가 횟수를 달성한다.
• RPDG의 총 그래디언트 평가 횟수는 ${\cal O}\left\{\sqrt{m}\sqrt{\frac{L}{\mu}}\log\frac{1}{\epsilon}\right\}$로 제한되며, 이는 결정론적 방법의 ${\cal O}\left\{m\sqrt{\frac{L}{\mu}}\log\frac{1}{\epsilon}\right\}$ bound보다 현저히 우수하다.
• 랜덤화된 점진적 그래디언트 방법에 대해 새로운 하한 복잡도 한계가 도출되었으며, 이는 주어진 문제 가정 하에서 RPDG 복잡도가 더 이상 향상될 수 없음을 증명한다.
• 에르고딕 반복 평균 $\bar{x}^k$ 과 반복값 $x^k$ 양쪽에 대해 수렴 분석이 이루어졌으며, $\mathbb{E}[\Psi(\bar{x}^k) - \Psi^*]$ 와 $\mathbb{E}[\|x^k - x^*\|^2]$ 에 대한 경계가 설정되었다.
• 문제 차원 $n$ 이 크더라도 반복 복잡도와 그래디언트 평가 횟수 측면에서 이 방법이 최적임이 입증된다.
• 강볼록이 아닌, 비매끄럽고 유계가 아닌 문제에 대한 확장이 논의되었지만, 주요 결과는 매끄럽고 강볼록인 경우에 집중되어 있다.