[논문 리뷰] Lower complexity bounds of first-order methods for convex-concave bilinear saddle-point problems

Yuyuan Ouyang, Yangyang Xu|arXiv (Cornell University)|2018. 08. 08.

Stochastic Gradient Optimization Techniques참고 문헌 39인용 수 12

한 줄 요약

이 논문은 볼록-볼록 이차형 경사점 문제(SPPs)를 해결하는 제1차 방법에 대해 날카로운 하한 복잡도를 확립하며, 일반적인 볼록 SPP의 경우 $O(1/t)$가 최적임을 보이고, 강한 볼록인 경우 $O(1/t^2)$가 최적임을 입증한다. 저자들은 존재하는 가속화된 방법들, 예를 들어 네스테로프의 스무딩 기법까지도 최적의 수렴 속도를 달성함을 입증하기 위해 악성 사례를 구성한다. 이는 제1차 오ракulum 접근 하에서 그 최적성의 확인을 의미한다.

ABSTRACT

On solving a convex-concave bilinear saddle-point problem (SPP), there have been many works studying the complexity results of first-order methods. These results are all about upper complexity bounds, which can determine at most how many efforts would guarantee a solution of desired accuracy. In this paper, we pursue the opposite direction by deriving lower complexity bounds of first-order methods on large-scale SPPs. Our results apply to the methods whose iterates are in the linear span of past first-order information, as well as more general methods that produce their iterates in an arbitrary manner based on first-order information. We first work on the affinely constrained smooth convex optimization that is a special case of SPP. Different from gradient method on unconstrained problems, we show that first-order methods on affinely constrained problems generally cannot be accelerated from the known convergence rate $O(1/t)$ to $O(1/t^2)$, and in addition, $O(1/t)$ is optimal for convex problems. Moreover, we prove that for strongly convex problems, $O(1/t^2)$ is the best possible convergence rate, while it is known that gradient methods can have linear convergence on unconstrained problems. Then we extend these results to general SPPs. It turns out that our lower complexity bounds match with several established upper complexity bounds in the literature, and thus they are tight and indicate the optimality of several existing first-order methods.

연구 동기 및 목표

• 기존에 상한만 알려져 있던 대규모 SPPs에 대해 제1차 방법의 하한 복잡도를 유도함으로써 문헌에서 중요한 간극을 메우는 것.
• SPPs에 대한 기존 제1차 방법들이 수렴 속도 측면에서 향상 가능할지 또는 최적일지 판단하는 것.
• 기존 상한과 정확히 일치하는 날카로운 하한을 확립함으로써 문헌에 등장하는 몇 가지 주요 알고리즘의 최적성을 확인하는 것.
• 일관된 정보 기반 복잡도 프레임워크 하에서, 표준 제1차 방법과 제1차 정보 기반으로 반복값을 생성하는 더 일반적인 방법들을 통합적으로 분석하는 것.
• 제약 최적화 문제의 맥락에서, 타당성과 최적성 오차의 하한을 고려할 때 목표 함수 정보의 역할을 분석하는 것.

제안 방법

• 과거 제1차 정보의 선형 스트레스 가정 하에, 수렴 속도에 대한 하한을 유도하기 위해 볼록 2차 프로그래밍을 이용해 악성 사례 SPP를 구성하는 것.
• 회전 불변성 기법을 적용하여 선형 스트레스 방법에 대한 하한을 약한 제약 조건이 있는 문제에 대해 일반 제1차 방법으로 확장하는 것.
• 정보 기반 복잡도 이론을 적용하여 주어진 정확도에 도달하기 위해 필요한 최소한의 제1차 오라클 쿼리 수를 분석하며, 오라클이 기울기와 행렬-벡터 곱을 동시에 반환한다고 모델링하는 것.
• 아핀 제약 조건이 있는 매끄러운 볼록 문제의 경우 $O(1/t)$가 최적이며, $O(1/t^2)$로 가속화될 수 없고, 강한 볼록 문제의 경우 $O(1/t^2)$가 최적임을 증명하는 것.
• 콤���트 원형 및 이중 타당 집합을 갖는 일반 SPP에 대해 분석을 확장하여, 기존 문헌에서 알려진 상한과 일치하는 하한을 도출하는 것.
• 유도된 하한을 기존 상한(예: Nesterov 2005, Chen 등 2014, 2017)과 비교하여, 해당 알고리즘의 날카로움과 최적성을 확인하는 것.

실험 결과

연구 질문

• RQ1 일반적인 볼록 케이스에서, 볼록-볼록 이차형 경사점 문제에 대한 제1차 방법들이 $O(1/t)$ 수렴 속도를 초월해 가속화될 수 있는가?
• RQ2 강한 볼록 SPP에 대한 제1차 방법에서 $O(1/t^2)$가 가능한 최고의 수렴 속도이며, 이는 기존 방법의 성능과 일치하는가?
• RQ3 SPP에 대한 기존 상한 복잡도가 기본적인 한계를 나타내는가, 아니면 더 나은 알고리즘 설계로 향상 가능할 수 있는가?
• RQ4 문제의 구조, 특히 목표 함수의 매끄러움과 제약 행렬의 성질에 따라 하한 복잡도가 어떻게 달라지는가?
• RQ5 특히 타당성 오차와 최적성 오차에 대해, 제약의 구조와 목표 함수에 모두 의존하는 하한을 도출할 수 있는가?

주요 결과

• 아핀 제약 조건이 있는 매끄러운 볼록 문제의 경우, $O(1/t)$ 수렴 속도가 최적이며, $O(1/t^2)$로 가속화될 수 없으며, 이는 비제약 조건의 경우와는 반대이다.
• 강한 볼록 문제의 경우 $O(1/t^2)$가 가능한 최고의 수렴 속도이며, 이는 날카로운 하한이므로 네스테로프 유형의 가속화 방법의 최적성을 확인한다.
• 콤팩트 타당 집합을 갖는 일반 SPP의 경우, 볼록 문제에 대해 $O(1/t)$, 강한 볼록 문제에 대해 $O(1/t^2)$의 하한 복잡도가 있으며, 이는 네스테로프(2005) 및 첸 등(2014, 2017)의 기존 상한과 정확히 일치한다.
• 정리 4.1의 하한은 네스테로프의 스무딩 기법의 상한과 정확히 일치하므로, 이 방법이 수렴 속도 순서 측면에서 최적이며 최적임을 증명한다.
• 유도된 하한은 첸 등(2014, 2017)의 후속 방법들 역시 동일한 수렴 속도 순서를 달성하므로, 그 최적성을 확인한다.
• 결과적으로, SPP에서 제1차 방법의 악성 복잡도는 문제의 구조와 정보 접근 방식에 의해 본질적으로 제한되며, 어떠한 방법도 확립된 하한을 초월할 수 없다는 것을 보여준다.