[논문 리뷰] PMGT-VR: A decentralized proximal-gradient algorithmic framework with variance reduction

Haishan Ye, Wei Xiong외 1명|arXiv (Cornell University)|2020. 12. 30.

Distributed Control Multi-Agent Systems참고 문헌 40인용 수 5

한 줄 요약

이 논문은 복합 최적화 문제를 해결하기 위해 다중공동합의, 기울기 추적, 분산 감소를 통합한 새로운 탈중앙화된 프록시-기울기 프레임워크인 PMGT-VR을 제안한다. 중심화된 대응 방식과 동일한 선형 수렴 속도를 달성하여, 복합 문제에 대해 이러한 성능을 보이는 첫 번째 탈중앙화된 확률적 프록시 알고리즘이다.

ABSTRACT

This paper considers the decentralized composite optimization problem. We propose a novel decentralized variance-reduction proximal-gradient algorithmic framework, called PMGT-VR, which is based on a combination of several techniques including multi-consensus, gradient tracking, and variance reduction. The proposed framework relies on an imitation of centralized algorithms and we demonstrate that algorithms under this framework achieve convergence rates similar to that of their centralized counterparts. We also describe and analyze two representative algorithms, PMGT-SAGA and PMGT-LSVRG, and compare them to existing state-of-the-art proximal algorithms. To the best of our knowledge, PMGT-VR is the first linearly convergent decentralized stochastic algorithm that can solve decentralized composite optimization problems. Numerical experiments are provided to demonstrate the effectiveness of the proposed algorithms.

연구 동기 및 목표

• 복합 최적화 문제에 대해 선형 수렴 속도를 보이는 탈중앙화된 확률적 알고리즘이 부족한 문제를 해결하기 위해.
• 탈중앙화된 통신 제약 조건을 유지하면서도 중심화된 알고리즘을 모방할 수 있는 프레임워크를 개발하기 위해.
• 비볼록 국소 함수를 허용하는 더 약한 가정 조건 하에서도 수렴 가능하게 하되, 합산이 강력 볼록일 경우에만 보장하기 위해.
• 컴ponent 기울기 평가 횟수를 줄이고 통신 비용을 균형 있게 조절하여 계산 효율성을 향상시키기 위해.

제안 방법

• 프레임워크는 에이전트 간 추정치를 동기화하기 위해 다중공동합의를 사용하고, 정확한 기울기 근사치를 유지하기 위해 기울기 추적을 사용하며, 수렴 속도를 높이기 위해 분산 감소를 적용한다.
• 로컬 기울기 추적 메커니즘을 사용한 프록시-기울기 갱신을 수행하며, 이는 이웃 정보를 이용해 전반적인 기울기를 추적한다.
• 분산 감소는 SAGA 및 LSVRG 방식의 갱신을 통해 구현되며, 과거 기울기의 역사를 유지하여 확률적 갱신의 노이즈를 줄인다.
• 각 에이전트가 이웃과만 통신하는 연결된 무방향 네트워크에서 알고리즘이 작동하여 탈중앙화를 보장한다.
• 프레임워크는 전체 목표 함수의 강력 볼록성에 기반한 수렴 분석을 바탕으로, 전체 기울기 및 확률적 기울기 변형을 모두 지원한다.
• 다중공동합의 메커니즘을 통해 에이전트들이 로컬 추정치의 평균을 추적할 수 있어, 네트워크 연결성이 열악한 상황에서도 안정성과 수렴 성능이 향상된다.

실험 결과

연구 질문

• RQ1 탈중앙화된 확률적 프록시 알고리즘이 복합 최적화 문제에서 선형 수렴 속도를 달성할 수 있는가?
• RQ2 분산 감소가 탈중앙화된 프록시 방법에 효과적으로 통합될 수 있으며, 수렴 속도를 저하시키지 않는가?
• RQ3 제안된 프레임워크가 기존 탈중앙화 알고리즘보다 기울기 평가 횟수와 통신 효율성 측면에서 뛰어나게 성능을 냈는가?
• RQ4 로컬 함수가 비볼록이어도 전체 목표 함수가 강력 볼록하다면 프레임워크가 이를 처리할 수 있는가?
• RQ5 반복당 탈중앙화 통신 횟수가 수렴 속도와 통신 비용에 어떤 영향을 미치는가?

주요 결과

• PMGT-SAGA와 PMGT-LSVRG는 강력 볼록 복합 문제에서 중심화된 대응 방식인 SAGA 및 SVRG와 동일한 선형 수렴 속도를 달성한다.
• 특히 조건이 나쁜 경우(ill-conditioned setting)에서 PG-EXTRA 및 NIDS에 비해 컴포넌트 기울기 평가 횟수가 크게 감소한다.
• PMGT-VR 방법은 네트워크 연결성이 열악한 경우에도 강건하게 작동하며, $1 - \lambda_2(W)$ 값이 작을 경우(예: 0.05)에도 빠른 수렴을 유지한다.
• 모든 설정에서 $\tau = 250$일 때 PMGT-VR 방법은 PG-EXTRA 및 NIDS보다 총 비용이 낮게 나타나, 계산-통신의 상호보완적 균형이 뛰어나다는 것을 보여준다.
• 반복당 탈중앙화 통신 횟수($K$)를 늘릴수록 수렴 속도가 향상되지만, 한계를 넘어서면 통신 비용만 증가하고 추가적인 이득은 없다.
• 조건이 나쁜 경우($\sigma_i = n \times 10^{-7}$)에 조건 수가 성능을 지배하지만, PMGT-VR은 기울기 평가 횟수와 총 비용 측면에서 PG-EXTRA 및 NIDS를 모두 능가한다.