[논문 리뷰] Projected Gradient Method for Decentralized Optimization over Time-Varying Networks

Alexander Rogozin, Alexander Gasnikov|arXiv (Cornell University)|2019. 11. 19.

Distributed Control Multi-Agent Systems참고 문헌 21인용 수 16

한 줄 요약

이 논문은 시간에 따라 변화하는 네트워크를 위한 탈중앙화된 투영 그래디언트 방법을 제안하며, 비가속화된 방법을 활용하여 수렴 속도를 향상시킨다. 이 방법은 네트워크 구조 변화에 강건한 특성을 지닌다. 투영은 공감 알고리즘을 통해 근사적으로 계산되며, 이론적 분석을 통해 전반적인 조건수 $L_f / \mu_f$ 에 의존함을 보여, 국소 조건수 기반 방법보다 우수한 성능을 낸다.

ABSTRACT

Decentralized distributed optimization over time-varying graphs (networks) is nowadays a very popular branch of research in optimization theory and consensus theory. One of the motivations to consider such networks is an application to drone networks. However, the first theoretical results in this branch appeared only five years ago (Nedic, 2014). The first results about the possibility of geometric rates of convergence for strongly convex smooth optimization problems on such networks were obtained only two years ago (Nedic, 2017). In this paper, we improve the rate of geometric convergence in the latter paper for the considered class of problems, using an original penalty method trick and robustness of projected gradient descent.

연구 동기 및 목표

• 시간에 따라 변화하는 네트워크 구조에 강건한 탈중앙화 최적화 알고리즘을 개발한다.
• 국소 조건수에 대한 의존도를 줄임으로써 탈중앙화 최적화에서 수렴 속도를 향상시킨다.
• 시간에 따라 변화하는 환경에서 비가속화 그래디언트 방법의 성능을 분석한다.
• 이 방법을 가속화된 방법으로 확장할 수 있는지 탐색한다.
• 국소 합 $L_{\text{sum}} / \mu_{\text{sum}}$ 가 아닌 전반적인 조건수 $L_f / \mu_f$ 를 기반으로 이론적 보장을 제공한다.

제안 방법

• 알고리즘은 분산된 에이전트 간의 공감 문제로 재구성된 합형 최적화 문제를 해결한다.
• 정확한 그래디언트 스텝을 사용하지만, 근사 투영을 사용하여 공감 다양체 $K = \{x_1 = \cdots = x_n\}$ 에서 투영 그래디언트 하강법을 적용한다.
• 근사 투영는 사전 정의된 정확도 $\varepsilon_1$ 를 갖는 공감 알고리즘을 통해 계산되며, 이는 진정한 투영 그래디언트 하강법을 근사함을 보장한다.
• 외부 루프는 스텝 크기 $\gamma$ 를 사용하는 표준 투영 그래디언트 하강법을 사용하고, 내부 루프는 공감 부분공간에 대한 투영을 계산한다.
• 외부 및 내부 루프에서 비가속화된 방법을 사용함으로써 네트워크 변화에 강건한 방법이 되도록 설계되었다.
• 가속화된 변형(알고리즘 3)이 제안되었으며, 외부 루프를 네스터로 스타일 모멘타임으로 대체한다. 그러나 전체 이론적 분석은 향후 연구에 남겨져 있다.

실험 결과

연구 질문

• RQ1 비가속화된 투영 그래디언트 방법은 기존의 국소 조건수 기반 방법보다 시간에 따라 변화하는 탈중앙화 네트워크에서 더 뛰어난 수렴 속도를 달성할 수 있는가?
• RQ2 수렴 속도는 전반적인 조건수 $L_f / \mu_f$ 와 합 기반 조건수 $L_{\text{sum}} / \mu_{\text{sum}}$ 중 어느 쪽에 더 의존하는가?
• RQ3 비가속화된 방법을 사용할 경우 탈중앙화 최적화의 성능이 네트워크 구조 변화에 얼마나 강건한가?
• RQ4 가속화된 방법은 근사 투영이 존재하는 시간에 따라 변화하는 탈중앙화 환경에 효과적으로 적용될 수 있는가?
• RQ5 탈중앙화 투영 그래디언트 방법에서 투영 정확도와 통신 비용 사이의 최적의 트레이드오프는 무엇인가?

주요 결과

• 제안된 방법은 전반적인 조건수 $L_f / \mu_f$ 에 의존하는 수렴 속도를 달성하며, 이는 $L_{\text{sum}} / \mu_{\text{sum}}$ 기반 방법보다 현저히 향상된 성능을 낼 수 있음을 보여준다.
• 수치 실험 결과, 비가속화된 투영 그래디언트 방법(Proj-GD-k)은 DIGing을 능가하고, EXTRA 및 Acc-DNGD-SC 와 유사한 성능을 보였다.
• 가속화된 변형(알고리즘 3)은 비가속화된 버전과 DIGing을 모두 뛰어넘는 성능을 보였다.
• 내부 반복 수(투영 정확도)와 통신 비용 사이에 트레이드오프가 존재하며, 최적의 성능을 위해 조정 가능하다.
• 이론적 분석을 통해 네트워크 변화에 대한 강건성은 외부 및 내부 루프에서 비가속화된 방법을 사용함으로써 기인함을 밝혔다.
• 함수 $f(x) = \frac{1}{2}(1+\alpha)\|x\|^2$ 의 예시는 $L_f / \mu_f$ 가 $L_{\text{sum}} / \mu_{\text{sum}}$ 보다 훨씬 작을 수 있음을 보여주며, 경계에서 전반적인 조건수의 우수성을 입증한다.