[논문 리뷰] A Decentralized Proximal Point-type Method for Saddle Point Problems

Weijie Liu, Aryan Mokhtari외 4명|arXiv (Cornell University)|2019. 10. 31.

Advanced Optimization Algorithms Research참고 문헌 54인용 수 15

한 줄 요약

이 논문은 네트워크 환경에서 각 노드가 전역 목적 함수의 국소적 구성요소를 보유하는 비볼록 비볼록 사다리꼴 문제를 해결하기 위해 분산형 프록시멀 포인트 유형 알고리즘(DPPSP)을 제안한다. 이 방법은 ρ-약한 볼록-약한 볼록, 또는 민티 변분부등식 조건 하에서 근사 정류점으로의 O(1/√T) 수렴 속도를 달성하며, 이는 분산 비볼록 비볼록 최소-최대 문제에 대해 처음으로 이론적 보장을 제공한다.

ABSTRACT

In this paper, we focus on solving a class of constrained non-convex non-concave saddle point problems in a decentralized manner by a group of nodes in a network. Specifically, we assume that each node has access to a summand of a global objective function and nodes are allowed to exchange information only with their neighboring nodes. We propose a decentralized variant of the proximal point method for solving this problem. We show that when the objective function is $ρ$-weakly convex-weakly concave the iterates converge to approximate stationarity with a rate of $\mathcal{O}(1/\sqrt{T})$ where the approximation error depends linearly on $\sqrtρ$. We further show that when the objective function satisfies the Minty VI condition (which generalizes the convex-concave case) we obtain convergence to stationarity with a rate of $\mathcal{O}(1/\sqrt{T})$. To the best of our knowledge, our proposed method is the first decentralized algorithm with theoretical guarantees for solving a non-convex non-concave decentralized saddle point problem. Our numerical results for training a general adversarial network (GAN) in a decentralized manner match our theoretical guarantees.

연구 동기 및 목표

• 각 노드가 전역 목적 함수의 국소적 구성요소를 보유하는 제약 조건이 있는 비볼록 비볼록 사다리꼴 문제를 해결하기 위한 분산 알고리즘을 개발하는 것.
• ρ-약한 볼록-약한 볼록 또는 민티 변분부등식 조건과 같은 약한 볼록-볼록성 가정 하에서 1차 정류점으로의 수렴을 보장하는 것.
• 전체적으로 분산된 환경에서 국소적 통신만을 통해 전역 조율 없이 이론적 수렴 보장을 유지하는 것.
• 생성적 적대적 네트워크(GAN)의 분산 훈련에서 수치적으로 방법을 검증하여 이론적 예측과 일치시키는 것.

제안 방법

• 각 노드가 국소 정보와 공식 제약 조건을 사용하여 프록시멀 변수(x, y)와 이중 변수(q)를 번갈아 업데이트하는 분산형 프록시멀 포인트 방법(DPPSP)을 제안한다.
• 비볼록 비볼록 환경에서 수렴을 보장하기 위해 증강 라그랑주 함수에 프록시멀 정규화 항을 사용한다.
• 각 노드가 이웃 노드와만 통신하여 네트워크 전역에서 국소 변수의 일치를 강제하는 공식 기반 ADMM 유사 업데이트 방식을 채택한다.
• 변분부등식 분석을 통해 수렴을 도출하며, 수렴하는 반복점들이 1차 최적성 조건과 관련된 단조 연산자 조건을 만족함을 보여준다.
• 기대값에서 기울기 유사 잔차와 공식 일치 위반의 노름을 제한하기 위해 랜덤화된 반복 선택 전략을 도입한다.
• 프록시멀 포인트 방법의 구조를 활용하여, 원소와 이중 변수의 곱공간에서 리아푸노프 함수를 사용해 수렴을 분석한다.

실험 결과

연구 질문

• RQ1 비볼록 비볼록 사다리꼴 문제에 대해 분산 알고리즘이 1차 정류점으로 수렴할 수 있는가?
• RQ2 ρ-약한 볼록-약한 볼록 또는 민티 VI 조건과 같은 약한 볼록-볼록성 가정 하에서 어떤 수렴 속도를 보장할 수 있는가?
• RQ3 전체적으로 분산된 네트워크에서 국소적 통신만으로 전역 조율 없이 이론적 수렴 보장을 유지할 수 있는가?
• RQ4 대규모 머신러닝 작업, 예를 들어 분산 GAN 훈련에서 알고리즘이 실제로 어떻게 성능을 발휘하는가?

주요 결과

• DPPSP 알고리즘은 ρ-약한 볼록-약한 볼록 문제에 대해 근사 정류점으로의 O(1/√T) 수렴 속도를 달성하며, 근사 오차는 √ρ에 선형적으로 비례한다.
• 민티 변분부등식 조건 하에서, 이 방법은 여전히 O(1/√T) 수렴 속도로 정류점에 도달하며, 볼록-볼록 영역을 초월한 결과를 확장한다.
• 공식 일치 위반의 기대값 ∥Uz^s∥²는 O(1/T)로 유계이므로, 노드 간 국소 변수들이 동일한 값으로 수렴함을 보장한다.
• 기울기 유사 잔차 ∥∑ₙ(Bₙ(zₙ^{s+1}) + Rₙ(zₙ^{s+1}))∥²의 기대값은 O(1/T)로 유계이므로, 정류점 수렴을 나타낸다.
• 분산 GAN 훈련에서의 수치 실험 결과, 알고리즘이 이론적 수렴 속도를 그대로 따르며, 방법의 실용적 효과성을 검증한다.
• 저자들의 지식에 비추어 볼 때, DPPSP는 비볼록 비볼록 사다리꼴 문제에 대해 이론적 수렴 보장을 갖는 첫 번째 분산 알고리즘이다.