[논문 리뷰] Parallelization does not Accelerate Convex Optimization: Adaptivity Lower Bounds for Non-smooth Convex Minimization

Eric Balkanski, Yaron Singer|arXiv (Cornell University)|2018. 08. 12.

Complexity and Algorithms in Graphs참고 문헌 44인용 수 14

한 줄 요약

이 논문은 최악의 경우 비미분 가능한 볼록 최적화에서 병렬화가 가속화되지 않음을 입증한다. 다항식적으로 많은 쿼리를 한 번에 사용하더라도, 립시츠 연속이고 강하게 볼록인 함수에 대해, 랜덤 알고리즘은 순차적 방법보다 더 나은 수렴 속도를 달성할 수 없음을 보여주는 날카운 적응성 하한을 제시한다. 단위 유클리드 구에서의 강하게 볼록하고 립시츠 연속 함수에 대해 적용된다.

ABSTRACT

In this paper we study the limitations of parallelization in convex optimization. A convenient approach to study parallelization is through the prism of \emph{adaptivity} which is an information theoretic measure of the parallel runtime of an algorithm [BS18]. Informally, adaptivity is the number of sequential rounds an algorithm needs to make when it can execute polynomially-many queries in parallel at every round. For combinatorial optimization with black-box oracle access, the study of adaptivity has recently led to exponential accelerations in parallel runtime and the natural question is whether dramatic accelerations are achievable for convex optimization. For the problem of minimizing a non-smooth convex function $f:[0,1]^n o \mathbb{R}$ over the unit Euclidean ball, we give a tight lower bound that shows that even when $ exttt{poly}(n)$ queries can be executed in parallel, there is no randomized algorithm with $ ilde{o}(n^{1/3})$ rounds of adaptivity that has convergence rate that is better than those achievable with a one-query-per-round algorithm. A similar lower bound was obtained by Nemirovski [Nem94], however that result holds for the $\ell_{\infty}$-setting instead of $\ell_2$. In addition, we also show a tight lower bound that holds for Lipschitz and strongly convex functions. At the time of writing this manuscript we were not aware of Nemirovski's result. The construction we use is similar to the one in [Nem94], though our analysis is different. Due to the close relationship between this work and [Nem94], we view the research contribution of this manuscript limited and it should serve as an instructful approach to understanding lower bounds for parallel optimization.

연구 동기 및 목표

• 병렬화가 비미분 가능하고 강하게 볼록한 함수의 맥락에서 볼록 최적화를 가속화할 수 있는지 조사하기.
• 적응성 수준을 병렬 실행 시간의 척도로 삼아 병렬화로 달성 가능한 가속도의 기본 한계를 설정하기.
• 강하게 볼록하고 립시츠 연속인 함수에 대해 $\varepsilon$-최적화 갭의 적응성 라운드 수에 따른 날카운 하한을 제공함으로써 이해의 격차를 메우기.
• 기존 조합 최적화에서의 병렬 가속 기법이 표준 가정 하에 볼록 최소화에 일반화되지 않는다는 것을 보여주기.

제안 방법

• 적응성 수준 $r$에 따라 매개변수화된 볼록 함수의 가족 $\mathcal{F}_r^\lambda$를 구성하여, 모든 $r$-적응형 알고리즘이 이를 구분할 수 없도록 한다.
• 강한 볼록성과 하향 기울기 노름을 제어하기 위해, 딱딱한 인스턴스 함수 $f_{\mathbf{y}}$의 스무스한 버전에 $\ell_2$-정규화를 적용한다.
• 정보 이론적 접근을 사용하여 적응성 단계 수 $r$에 기반해 기대 최적화 갭을 하한으로 제한한다.
• 간극 구별 불가능성 논증을 적용하여, 어떤 $r$-적응형 알고리즘도 이 가족 내 두 함수를 높은 확률로 구분할 수 없음을 보인다.
• $\ell_2$-도메인 지름과 립시츠 상수 $G$를 사용해 최적화 갭의 하한을 유도한다.
• 정규화 파라미터 $\lambda$, 도메인 지름 $D$, 립시츠 상수 간의 관계를 사용해 하향 기울기 노름을 제어하고 $\|\mathbf{g}\|^2 \leq G^2$를 확보한다.

실험 결과

연구 질문

• RQ1 한 라운드에 $\operatorname{poly}(n)$개의 쿼리를 병렬로 수행할 수 있을 때, 비미분 가능한 볼록 최적화에서 순차적 방법보다 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ2 립시츠 연속이고 강하게 볼록한 함수를 최소화할 때, 주어진 정확도에 도달하기 위해 필요한 적응성 단계 수의 기본 한계는 무엇인가?
• RQ3 병렬 쿼리가 풍부한 상황에서도 병렬 알고리즘과 순차 알고리즘의 성능 간에 증명 가능한 격차가 존재하는가?
• RQ4 비미분 가능하고 강하게 볼록한 설정에서 알고리즘의 적응성과 수렴 속도 사이의 관계는 어떻게 되는가?
• RQ5 기존의 조합 최적화 기법(예: 하위모듈라 최대화)은 병렬 계산 모델 하에서 볼록 최소화로 일반화될 수 있는가?

주요 결과

• 모든 $r$-적응형 랜덤 알고리즘에 대해, $\mathcal{F}_r^\lambda$ 내의 강하게 볼록하고 립시츠 연속인 함수가 존재하여, 최적화 갭이 확률 $\omega(1/n)$로 $GD \left( \frac{1}{2\sqrt{r+1}} - \frac{(r+1/2)\log n}{\sqrt{n}} \right)$ 이상이 된다.
• 만약 $r \in o(n^{1/3}/\log n)$ 이면, 최적화 갭은 $\Omega\left( \frac{GD}{\sqrt{r}} \right)$ 이며, 이는 순차적 하향 기울기 방법의 수렴 속도와 일치한다.
• 한 라운드에 다항식 수의 쿼리가 병렬로 실행되더라도 하한이 유지되므로, 병렬화로 인한 점근적 가속도는 없다.
• 구축된 함수 가족은 모든 하향 기울기의 노름 제곱이 $G^2$ 이하임을 보장하여, 립시츠 조건을 만족한다.
• 하한은 고차항을 제외한 날카로움을 보이며, 모든 $r$-적응형 알고리즘이 수렴 속도 측면에서 표준 순차적 방법을 초월할 수 없음을 보여준다.
• 결과는 $\ell_2$-노름 설정에 대해 성립하며, 이는 이전 네미로프스키의 $\ell_\infty$-노름 설정 결과와 대비되며, 문헌의 격차를 메꾼다.