[논문 리뷰] Gradient Primal-Dual Algorithm Converges to Second-Order Stationary Solutions for Nonconvex Distributed Optimization

Mingyi Hong, Jason D. Lee외 1명|arXiv (Cornell University)|2018. 02. 25.

Distributed Control Multi-Agent Systems참고 문헌 37인용 수 21

한 줄 요약

이 논문은 선형 제약 조건이 있는 비볼록 분산 최적화 문제를 위한 기울기 원-대안 알고리즘(GPDA)과 기울기 ADMM(GADMM)을 제안한다. 랜덤 초기화 하에 두 알고리즘이 확률적으로 1로 두 번째 순서 정적 해에 수렴함을 증명하며, 이는 비볼록 문제에 대해 원-대안 설정에서 오직 일阶 정보만을 사용하여 두 번째 순서 정적 해로의 전역 수렴 결과로, 이는 처음으로 이루어지는 것이다.

ABSTRACT

In this work, we study two first-order primal-dual based algorithms, the Gradient Primal-Dual Algorithm (GPDA) and the Gradient Alternating Direction Method of Multipliers (GADMM), for solving a class of linearly constrained non-convex optimization problems. We show that with random initialization of the primal and dual variables, both algorithms are able to compute second-order stationary solutions (ss2) with probability one. This is the first result showing that primal-dual algorithm is capable of finding ss2 when only using first-order information, it also extends the existing results for first-order, but primal-only algorithms. An important implication of our result is that it also gives rise to the first global convergence result to the ss2, for two classes of unconstrained distributed non-convex learning problems over multi-agent networks.

연구 동기 및 목표

• 선형 제약 조건이 있는 비볼록 분산 최적화 문제에서 두 번째 순서 정적 해를 찾는 데 도전하는 문제를 다루기.
• 엄격한 안장점으로 수렴할 수 있는 일阶 원변수 전용 방법의 한계를 극복하기.
• 비볼록 설정에서 오직 일阶 정보만을 사용하여 원-대안 알고리즘의 전역 수렴 보장을 수립하기.
• 다중 에이전트 네트워크에서의 제약 조건이 없는 분산 비볼록 학습 문제로 이론적 수렴 결과를 확장하기.
• 비볼록 최적화에서 일阶 원-대안 방법이 두 번째 순서 정적 점으로의 전역 수렴에 대한 이론적 기초를 제공하기.

제안 방법

• 선형 제약 조건이 있는 비볼록 최적화 문제를 해결하기 위해 기울기 원-대안 알고리즘(GPDA)과 기울기 분할 정렬 방법의 다중 승수(GADMM)를 제안한다.
• 증강 라그랑주 프레임워크에 기반한 반복적 갱신을 통해 원변수와 이중변수 양쪽에 일阶 기울기 정보를 사용한다.
• 두 번째 순서 정적 점으로 거의 확실하게 수렴하기 위해 원변수와 이중변수의 랜덤 초기화 전략을 도입한다.
• 목적 함수의 헤시안 리프시츠 연속성과 미끄럼 조건을 가정하여 온건한 정규성 조건 하에서 수렴성을 확립한다.
• 행렬 편향 이론과 고유값 분석을 활용하여 제약 행렬의 영공간에서 증강 라그랑주 함수의 헤시안 행렬이 양의 준정부호 유지됨을 증명한다.
• 리아푸노프 유형 분석을 적용하여 알고리즘이 거의 확실하게 엄격한 안장점을 회피하고 두 번째 순서 정적 점으로 수렴함을 보여준다.

실험 결과

연구 질문

• RQ1 오직 일阶 정보만을 사용하는 원-대안 알고리즘이 비볼록 분산 최적화에서 두 번째 순서 정적 해로 수렴할 수 있는가?
• RQ2 원변수와 이중변수의 랜덤 초기화가 비볼록 문제에서 거의 확실하게 두 번째 순서 정적 해로 수렴하게 하는가?
• RQ3 일阶 원-대안 방법이 일阶 원변수 전용 방법이 실패하는 곳에서 두 번째 순서 정적 해로 전역 수렴할 수 있는가?
• RQ4 선형 제약 조건이 있는 비볼록 분산 설정에서 GPDA와 GADMM의 이론적 수렴 행동은 어떠한가?
• RQ5 제안된 알고리즘이 다중 에이전트 네트워크에서 제약 조건이 없는 비볼록 분산 학습 문제에서 두 번째 순서 정적 해로 전역 수렴을 달성할 수 있는가?

주요 결과

• 랜덤 초기화 하에 GPDA와 GADMM는 비볼록 설정에서도 확률적으로 1로 두 번째 순서 정적 해로 수렴한다.
• 이 논문은 비볼록 최적화에서 일阶 원-대안 알고리즘에 대해 두 번째 순서 정적 해로의 첫 전역 수렴 결과를 확립한다.
• 수치 실험 결과, GPDA는 엄격한 안장점을 성공적으로 회피하고, 특히 벌점 매개변수 β가 충분히 클 경우 더 낮은 목적 함수 값을 수렴함을 보였다.
• 목적 함수 $ f(x) = x^T Q x + rac{1}{4} orm{x}^4_4 $ 는 $ au o ext{max eigenvalue of } Q $ 일 때 $ 5 au $-스무스하고 $ 6 ilde{ au} $-헤시안 리프시츠임을 증명하였다.
• β가 너무 작을 경우 GPDA는 발산함을 확인하여, 수렴을 위해 β가 충분히 크게 설정되어야 한다는 이론적 요구 조건을 뒷받침한다.
• 2차원 테스트 케이스에서 GPDA는 국소 최소값 근처의 제약선 상의 점으로 수렴하며, 원점에 위치한 엄격한 안장점을 피하고 있었다.