[논문 리뷰] Linear Convergence of First- and Zeroth-Order Primal-Dual Algorithms for Distributed Nonconvex Optimization

Xinlei Yi, Shengjun Zhang외 3명|arXiv (Cornell University)|2019. 12. 27.

Distributed Control Multi-Agent Systems참고 문헌 65인용 수 7

한 줄 요약

이 논문은 네트워크를 통해 비볼록 최적화를 위한 분산 제1차 및 제0차 원본-이중 알고리즘을 제안하며, 전역 비용 함수가 Polyak–Łojasiewicz (P–Ł) 조건을 만족할 경우 전역 최적해로 선형 수렴를 달성한다. 이는 강한 볼록성보다 더 약한 조건이다. 제0차 변형은 결정론적 기울기 추정기를 사용하며 동일한 조건 하에서 제1차 방법의 수렴 속도를 유지한다.

ABSTRACT

This paper considers the distributed nonconvex optimization problem of minimizing a global cost function formed by a sum of local cost functions by using local information exchange. We first consider a distributed first-order primal-dual algorithm. We show that it converges sublinearly to a stationary point if each local cost function is smooth and linearly to a global optimum under an additional condition that the global cost function satisfies the Polyak-Łojasiewicz condition. This condition is weaker than strong convexity, which is a standard condition for proving linear convergence of distributed optimization algorithms, and the global minimizer is not necessarily unique. Motivated by the situations where the gradients are unavailable, we then propose a distributed zeroth-order algorithm, derived from the considered first-order algorithm by using a deterministic gradient estimator, and show that it has the same convergence properties as the considered first-order algorithm under the same conditions. The theoretical results are illustrated by numerical simulations.

연구 동기 및 목표

• 강한 볼록성보다 더 약한 조건에서 분산 비볼록 최적화에 대해 선형 수렴 보장을 제공하는 데에 격차를 메우기 위해.
• 전역 비용 함수가 P–Ł 조건을 만족할 경우 선형으로 수렴하는 분산 제1차 원본-이중 알고리즘을 개발하기 위해.
• 제1차 알고리즘을 결정론적 기울기 추정기를 사용하여 제0차 변형으로 확장하여 수렴 성질을 유지하기 위해.
• 기울기가 이용 가능하지 않을 경우에도 동일한 P–Ł 조건 하에서 선형 수렴가능성을 입증하기 위해.
• 20개의 에이전트와 50차원 변수를 가진 분산 이진 분류 문제에서 이론적 결과를 수치 시뮬레이션을 통해 검증하기 위해.

제안 방법

• 국소 정보 교환을 이용한 분산 제1차 원본-이중 알고리즘을 제안하여 국소 함수들의 합으로 이루어진 전역 비용 함수를 최소화하기 위해.
• 부드러운 국소 비용 함수에 대해 정류점으로의 초선형 수렴을 확립하고, P–Ł 조건 하에서 전역 최적해로의 선형 수렴을 확보하기 위해.
• 기울기를 함수 값 차이를 기반으로 한 결정론적 기울기 추정기로 대체하여 제0차 알고리즘을 유도하기 위해.
• 동일한 가정 하에서 제0차 알고리즘이 제1차 변형과 동일한 수렴 성질을 습득함을 증명하기 위해.
• 수렴 분석을 위해 리아푸노프 함수와 수축 추론을 사용하며, 최적 집합까지의 거리를 제한하는 핵심 부등식을 유도하기 위해.
• 20명의 에이전트와 50차원 변수를 가진 비볼록 이진 분류 문제에서 이론적 결과를 시뮬레이션을 통해 검증하기 위해.

실험 결과

연구 질문

• RQ1 강한 볼록성보다 더 약한 조건에서 분산 제1차 원본-이중 알고리즘이 비볼록 문제에 대해 선형 수렴를 달성할 수 있는가?
• RQ2 기울기가 이용 가능하지 않을 경우 제1차 알고리즘의 제0차 변형이 동일한 수렴 속도를 유지하는가?
• RQ3 P–Ł 조건은 강한 볼록성과 비교하여 분산 비볼록 최적화에서 선형 수렴를 가능하게 하는 데 어떻게 기여하는가?
• RQ4 기능 쿼리 수와 통신 라운드 수 측면에서 제1차 및 제0차 방법 간의 성능 상충 관계는 어떠한가?
• RQ5 제0차 방법에서 결정론적 기울기 추정이 P–Ł 조건 하에서 선형 수렴를 유지할 수 있는가?

주요 결과

• 제안된 제1차 원본-이중 알고리즘은 전역 비용 함수가 Polyak–Łojasiewicz (P–Ł) 조건을 만족할 경우 전역 최적해로 선형 수렴를 달성한다. 이 조건은 강한 볼록성보다 더 약하다.
• 결정론적 기울기 추정기를 통해 유도된 제0차 알고리즘은 동일한 가정 하에서 제1차 방법과 동일한 선형 수렴 속도를 달성한다.
• 수렴 속도는 최적 집합까지의 거리가 지수적으로 감소하는 방식으로 선형이므로, 감쇠율은 P–Ł 상수와 알고리즘 파라미터에 따라 달라진다.
• 수치 시뮬레이션 결과, DGD, DFO-GTA, xFILTER와 같은 최첨단 방법보다 제1차 알고리즘이 수렴 속도 측면에서 뛰어난 성능을 보였다.
• 제0차 알고리즘은 초기에는 제1차 변형과 유사한 성능를 보였지만, 결국 초선형 수렴로 둔화됨을 확인하여 기울기 접근의 이점이 뚜렷하게 드러났다.
• 제안된 제0차 알고리즘은 그와 유사한 DDZO-GTA [65]보다 함수 값 쿼리 수와 통신 효율성 측면에서 더 뛰어난 성능를 보였으며, 그 결과는 그림 2 및 그림 3에서 확인할 수 있다.