[논문 리뷰] On Nonconvex Decentralized Gradient Descent

Jinshan Zeng, Wotao Yin|arXiv (Cornell University)|2016. 08. 20.

Distributed Control Multi-Agent Systems참고 문헌 54인용 수 11

한 줄 요약

이 논문은 비볼록 공준 최적화 설정에서 분산형 경사 하강법(DGD)과 프락시멀 DGD(Prox-DGD)에 대한 수렴 보장을 수립한다. 감소하는 스텝 사이즈를 사용할 경우, DGD는 원래 문제의 정류점에 하향률(sublinear rate)로 수렴하며, Prox-DGD는 프락시멀 연산자를 통해 비볼록, 비연속 함수로 확장되어 더 완화된 가정 하에 동일한 수렴성을 유지한다. 이는 새로운 비볼록 분석 기법을 사용한다.

ABSTRACT

Consensus optimization has received considerable attention in recent years. A number of decentralized algorithms have been proposed for {convex} consensus optimization. However, to the behaviors or consensus \emph{nonconvex} optimization, our understanding is more limited. When we lose convexity, we cannot hope our algorithms always return global solutions though they sometimes still do sometimes. Somewhat surprisingly, the decentralized consensus algorithms, DGD and Prox-DGD, retain most other properties that are known in the convex setting. In particular, when diminishing (or constant) step sizes are used, we can prove convergence to a (or a neighborhood of) consensus stationary solution under some regular assumptions. It is worth noting that Prox-DGD can handle nonconvex nonsmooth functions if their proximal operators can be computed. Such functions include SCAD and $\ell_q$ quasi-norms, $q\in[0,1)$. Similarly, Prox-DGD can take the constraint to a nonconvex set with an easy projection. To establish these properties, we have to introduce a completely different line of analysis, as well as modify existing proofs that were used the convex setting.

연구 동기 및 목표

• 분산형 경사 하강법(DGD)의 수렴 이론을 볼록 문제에서 비볼록 공준 최적화 문제로 확장하기.
• 고정 및 감소 스텝 사이즈 조건 하에서 비볼록 환경에서 DGD와 Prox-DGD의 행동 분석하기.
• 비볼록 상황에서 전역 최적해를 잃더라도 원래 문제의 정류점으로 수렴함을 확보하기.
• 프락시멀 연산자를 활용해 비볼록, 비연속 함수를 다룰 수 있도록 프레임워크 확장하기. 이는 SCAD, MCP 및 ℓq 준노름을 포함한다.
• 비볼록 분산 최적화에 특화된 새로운 분석 도구 개발하기. 이는 볼록 케이스 증명과는 다릅니다.

제안 방법

• 고정 스텝 사이즈 조건 하에서 DGD의 수렴을 분석하기 위해 리아푸노프 함수 기반 접근법을 제안하며, 리아푸노프 함수의 정류점으로 수렴함을 보여준다.
• 감소하는 스텝 사이즈 αk = O(1/(k+1)^ε)를 사용하며, ε ∈ (0,1]로 설정하여 점진적 공준과 원래 문제의 정류점으로의 수렴을 보장한다.
• 다른 함수의 합성으로 이루어진 문제에 대해, 미분 가능 함수와 프락시멀 가능한(비볼록일 수 있음) 함수의 조합을 다루기 위해 Prox-DGD를 도입하며, 비연속 또는 비볼록 정규화를 위해 프락시멀 연산자를 활용한다.
• 수정된 강하 렘마를 적용하고, 기울기의 리프시츠 연속성과 프락시멀 사상의 성질을 이용해 연속적인 반복값 간의 차이를 추정한다.
• 국소 추정치와 전역 평균 간의 공준 오차에 대한 경계를 유도하며, 이는 스텝 사이즈에 비례하고 혼합 행렬의 스펙트럼 간격에 반비례함을 보여준다.
• 볼록 분석과는 다름을 보이는 새로운 분석 프레임워크를 도입하며, 강하 렘마와 프락시멀 연산자 성질을 비볼록 환경에 적응시킨다.

실험 결과

연구 질문

• RQ1 감소하는 스텝 사이즈 조건 하에서 DGD가 원래 비볼록 문제의 정류점으로 수렴할 수 있는가?
• RQ2 비볼록 DGD에서 국소 에이전트 간의 공준 오차는 스텝 사이즈와 네트워크 토폴로지에 따라 어떻게 척도화되는가?
• RQ3 Prox-DGD는 ℓq 준노름(q ∈ [0,1)) 및 SCAD/MCP 페널티와 같은 비볼록, 비연속 함수를 다룰 수 있는가?
• RQ4 감소하는 스텝 사이즈 조건 하에서 비볼록 분산 최적화 환경에서 DGD와 Prox-DGD의 수렴 속도는 어떠한가?
• RQ5 기존 볼록 수렴 증명은 비볼록 분산 알고리즘에 적용하기 위해 어떻게 수정되거나 재구성될 수 있는가?

주요 결과

• 적절히 제한된 고정 스텝 사이즈 α를 사용할 경우, DGD 반복값은 리아푸노프 함수의 정류점으로 수렴하며, 국소 추정치와 전역 평균 간의 공준 오차는 O(α)로 유계이다.
• 감소하는 스텝 사이즈 αk = O(1/(k+1)^ε) 조건 하에 ε ∈ (0,1]이면, DGD는 점진적 공준을 확보하고 원래 비볼록 문제의 정류점으로 하향률 수렴을 달성한다.
• Prox-DGD의 경우, 미분 가능 부분 f_i와 프락시멀 가능한 부분 r_i가 비볼록이지만, r_i의 프락시멀 연산자가 계산 가능할 경우, 정류점으로의 수렴이 보장된다.
• 볼록 케이스에서 목적 함수 오차의 수렴 속도는 αk = 1/√k일 때 O(ln k / k)이며, 중첩 루프를 사용한 네스테로프 가속 기법을 적용하면 O(1/k²)가 된다.
• f_i와 r_i가 볼록일 경우, Prox-DGD는 더 큰 고정 스텝 사이즈를 허용하며, 프락시멀 연산자를 포함한 수정된 강하 렘마를 통해 수렴이 보장된다.
• 분석은 볼록 케이스와는 다름을 보이는 새로운 증명 선로를 도입하며, 특히 공준 오차와 비볼록 리아푸노프 함수의 행동 다루기에 특화되어 있다.