[논문 리뷰] A Stochastic Proximal Gradient Framework for Decentralized Non-Convex Composite Optimization: Topology-Independent Sample Complexity and Communication Efficiency

Ran Xin, Subhro Das외 2명|arXiv (Cornell University)|2021. 10. 04.

Distributed Control Multi-Agent Systems참고 문헌 70인용 수 6

한 줄 요약

이 논문은 네트워크 상에서 분산된 비볼록 복합 최적화를 위한 새로운 확률적 프락시 그래디언트 프레임워크인 ProxGT를 제안한다. 국소적 확률적 그래디언트와 공유 기반 정보 교환을 활용하여 네트워크의 구조에 영향을 받지 않는 샘플 복잡도와 중심화된 최적 방법 대비 선형 속도 향상을 달성함으로써, 중앙 조율자가 없는 효율적이고 확장 가능한 대규모 학습을 가능하게 한다.

ABSTRACT

Decentralized optimization is a promising parallel computation paradigm for large-scale data analytics and machine learning problems defined over a network of nodes. This paper is concerned with decentralized non-convex composite problems with population or empirical risk. In particular, the networked nodes are tasked to find an approximate stationary point of the average of local, smooth, possibly non-convex risk functions plus a possibly non-differentiable extended valued convex regularizer. Under this general formulation, we propose the first provably efficient, stochastic proximal gradient framework, called ProxGT. Specifically, we construct and analyze several instances of ProxGT that are tailored respectively for different problem classes of interest. Remarkably, we show that the sample complexities of these instances are network topology-independent and achieve linear speedups compared to that of the corresponding centralized optimal methods implemented on a single node.

연구 동기 및 목표

• 중앙 조율자가 없는 대규모 네트워크에서 분산된 비볼록 복합 최적화 문제를 해결하기 위해.
• 일반적인 비볼록 및 비연속 설정 하에서 수렴이 보장되는 확률적 프락시 그래디언트 프레임워크를 개발하기 위해.
• 네트워크의 구조에 영향을 받지 않는 샘플 복잡도와 중심화된 최적 방법 대비 선형 속도 향상을 달성하기 위해.
• 분산 환경에서 인구 위험과 경험적 위험 최소화 공식을 모두 지원하기 위해.

제안 방법

• 국소적 확률적 그래디언트 추정과 공유 기반 네트워크 통신을 결합한 확률적 프락시 그래디언트 알고리즘인 ProxGT를 제안한다.
• 노드 간의 국소 그래디언트 근사에서의 분산을 줄이기 위해 双중 확률적 그래디언트 추정기를 사용한다.
• 혼합 행렬을 활용한 공유 메커니즘을 도입하여 노드 상태를 동기화하고 통신 오버헤드를 감소시킨다.
• 국소 그래디언트 분산과 네트워크 구조 효과를 분리하는 새로운 오차 경계 분석을 제안한다.
• 가속화된 공유 기법을 적용하여 프레임워크 내에서 통신 효율성을 추가로 향상시킨다.
• 부드럽고 볼록성 가정 하에 내림내림 부등식과 텔레스코프 합 추론을 사용하여 이론적 수렴 보장을 도출한다.

실험 결과

연구 질문

• RQ1 분산된 확률적 프락시 그래디언트 방법이 비볼록 복합 최적화에서 네트워크의 구조에 영향을 받지 않는 샘플 복잡도를 달성할 수 있는가?
• RQ2 제안된 프레임워크가 중심화된 최적 방법 대비 선형 속도 향상을 달성하는가?
• RQ3 수렴 보장을 훼손하지 않고 분산된 비볼록 최적화에서 통신 효율성을 어떻게 향상시킬 수 있는가?
• RQ4 이 프레임워크는 동일한 이론적 보장을 바탕으로 인구 위험과 경험적 위험 최소화를 모두 처리할 수 있는가?
• RQ5 왜곡 감소와 공유 기법이 비볼록성 하에서 효율적인 분산 학습을 가능하게 하는가?

주요 결과

• ProxGT의 샘플 복잡도는 네트워크의 구조에 영향을 받지 않으며, 이는 이전의 분산 방법에 비해 중대한 개선이다.
• 비볼록 및 비연속 목표 함수 조건 하에서도 중심화된 최적 방법 대비 선형 속도 향상을 달성한다.
• 가속화된 공유 기법을 통해 통신 복잡도가 향상되어 수렴에 필요한 통신 라운드 수가 감소한다.
• 인구 위험과 경험적 위험 최소화를 모두 수렴이 보장되는 근사 정적점으로 지원한다.
• 이론적 분석을 통해 확률적 그래디언트와 공유에서 유도된 오차 항이 유한하고 반복 과정에서 효과적으로 텔레스코프 합이 된다.
• 수치 결과는 ProxGT가 다양한 네트워크 구조와 문제 크기에서 효율성과 확장성을 유지함을 보여준다.