[논문 리뷰] Lower Bounds for Parallel and Randomized Convex Optimization

Jelena Diakonikolas, Cristóbal Guzmán|arXiv (Cornell University)|2018. 11. 05.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 7

한 줄 요약

이 논문은 넓은 범위의 기하학적 구조(ℓp 및 슈바르츠 공간)와 부드러움 수준(비부드럽고, 약간 부드럽고, 부드러운 경우)에서 병렬 및 확률적 볼록 최적화의 오라클 복잡도에 대한 날카운 하한을 확립한다. 병렬화가 차원의 로그 인자 수준 이내에서 순차적 복잡도 이하로 라운드 수나 라운드당 쿼리 수를 줄일 수는 없음을 증명하며, 대부분의 설정에서 다항식적으로 제한된 라운드당 쿼리 수를 가진 다항로그 라운드 복잡도를 효과적으로 배제한다.

ABSTRACT

We study the question of whether parallelization in the exploration of the feasible set can be used to speed up convex optimization, in the local oracle model of computation. We show that the answer is negative for both deterministic and randomized algorithms applied to essentially any of the interesting geometries and nonsmooth, weakly-smooth, or smooth objective functions. In particular, we show that it is not possible to obtain a polylogarithmic (in the sequential complexity of the problem) number of parallel rounds with a polynomial (in the dimension) number of queries per round. In the majority of these settings and when the dimension of the space is polynomial in the inverse target accuracy, our lower bounds match the oracle complexity of sequential convex optimization, up to at most a logarithmic factor in the dimension, which makes them (nearly) tight. Prior to our work, lower bounds for parallel convex optimization algorithms were only known in a small fraction of the settings considered in this paper, mainly applying to Euclidean ($\ell_2$) and $\ell_\infty$ spaces. Our work provides a more general approach for proving lower bounds in the setting of parallel convex optimization.

연구 동기 및 목표

• 병렬화가 국소 오라클 모델에서 볼록 최적화의 오라클 복잡도를 줄일 수 있는지 여부를 규명하는 것.
• 기존의 하한이 유클리드 공간과 ℓ∞ 공간을 초월하여 일반적인 ℓp 및 슈바르츠 공간으로 확장됨으로써 문헌에서 큰 격차를 메우는 것.
• 모든 수준의 부드러움과 탇도 집합 기하학에 걸쳐 결정론적 및 확률적 알고리즘에 대해 거의 날카운 하한을 확립하는 것.
• ℓ∞ 및 ℓ1 설정과 같은 장기적인 추측을 해결하고 볼록 최적화에서 병렬 처리 가속의 한계를 명확히 하는 것.

제안 방법

• 기존의 도전적인 케이스(예: ℓ∞)에서의 어려운 문제 인스턴스를 다른 ℓp 및 슈바르츠 공간에 통합하는 데 사용되는 새로운 감소 프레임워크를 개발하였다.
• 반대자적 선택 하에서 최적성 갭을 제한하기 위해 반대집중 부등식과 ℓp 공간의 직교 분해를 분석에 활용하였다.
• 차원 d가 정확도 ε의 역수 함수로 증가하는 고차원 정황을 분석하여 날카운 복잡도 하한을 도출하였다.
• 이 방법은 결정론적 및 확률적 알고리즘 모두에 적용되며, 랜덤 쿼리에 대한 성공 확률을 제한하기 위해 확률적 추론을 사용하였다.
• 특정 기하 대칭성에 의존하지 않고 노름 공간의 구조적 성질을 사용함으로써 이전 결과를 일반화하였다.
• 핵심 기술 도구로는 κ-부드러움과 차원에 의존하는 스케일링을 고려한 최적성 갭의 정교한 분석을 포함하며, 이는 날카운 하한을 이끌어낸다.

실험 결과

연구 질문

• RQ1 병렬화가 순차적 복잡도 이하로 볼록 최적화의 오라클 복잡도를 줄일 수 있는가, 심지어 다항식적으로 많은 쿼리 수를 라운드당 사용하더라도?
• RQ2 일반적인 ℓp 및 슈바르츠 공간에서 병렬 볼록 최적화에서 다항로그 라운드 복잡도를 달성할 수 있는가?
• RQ3 ℓ∞ 및 유클리드 공간에 대한 하한이 유사한 날카움으로 다른 ℓp 공간과 행렬 슈바르츠 공간으로 확장되는가?
• RQ4 병렬 오라클 복잡도에서 부드러움(κ), 차원(d), 정확도(ε) 사이의 정밀한 트레이드오프는 무엇인가?
• RQ5 비부드럽고 ℓ∞ 최적화에 대한 알려진 하한이 일치하는 날카운 하한으로 부드럽고 약간 부드러운 설정으로 확장될 수 있는가?

주요 결과

• 1 ≤ p < 2 이고 κ-부드러운 함수에 대해 ℓp 공간에서의 병렬 오라클 복잡도는 Ω( (1/ε)^(2/(3+2κ)) / (ln(1/ε) + κ ln ln(dK/γ)) ) 이상이어야 하며, 이는 로그 인자 수준 이내에서 순차적 복잡도와 일치한다.
• 부드러운 경우(κ=1)에 하한은 Ω( (1/ε)^(2/5) / (ln(1/ε) + ln ln(dK/γ)) )이며, 이는 순차적 복잡도 Θ(1/√ε)에서 지수의 1/10 정도 떨어져 있어 근본적인 장벽을 보여준다.
• 약간 부드러운 함수(κ→0)의 경우 하한은 Ω( (1/ε)^(2/3) )가 되며, 이는 순차적 복잡도에서 지수의 덧셈 4/3 정도 떨어져 있어 고차원 정황에서 더 온건한 영향을 보인다.
• 이 하한은 타도 집합의 확대에 대해 안정적이며, 제약 조건이 없는 문제에도 적용 가능하여 제약 조건 설정을 초월한다.
• 결과는 고확률 모델에서 비부드럽고 ℓ∞ 최적화에 대한 Nemirovski의 이전 하한을 복원하고 강화하지만, 이는 상수 ε에 대해서만 해당된다.
• 분석은 ℓ∞ 및 저p 케이스에서의 하한 향상을 위해서는 근본적으로 새로운 기법이 필요하다고 밝혀내었으며, 현재의 가정(예: 최적성 갭에 대한)은 날카롭고, 하드 인스턴스를 변경하지 않으면서 느슨하게 만들 수 없다.