[논문 리뷰] An introduction to decentralized stochastic optimization with gradient tracking

Ran Xin, Soummya Kar외 1명|arXiv (Cornell University)|2019. 07. 23.

Distributed Control Multi-Agent Systems참고 문헌 51인용 수 11

한 줄 요약

이 논문은 원천적이고 강력하게 볼록한 유한합 문제를 위한 분산형 확률적 최적화 방법을 제안하며, 기울기 추적 기반으로 통신 효율적이고 중앙 집중식 조정자가 없는 피어 투 피어 학습을 가능하게 한다. 기울기 추적 기법이 일반적인 분산형 SGD에 비해 더 빠른 수렴 속도를 보이며, 임의의 네트워크 구조와 통신 제약 조건 하에서도 고정밀도 해에 수렴함을 입증한다.

ABSTRACT

Decentralized solutions to finite-sum minimization are of significant importance in many signal processing, control, and machine learning applications. In such settings, the data is distributed over a network of arbitrarily-connected nodes and raw data sharing is prohibitive often due to communication or privacy constraints. In this article, we review decentralized stochastic first-order optimization methods and illustrate some recent improvements based on gradient tracking and variance reduction, focusing particularly on smooth and strongly-convex objective functions. We provide intuitive illustrations of the main technical ideas as well as applications of the algorithms in the context of decentralized training of machine learning models.

연구 동기 및 목표

• 데이터가 노드 간에 분산되어 있으며 통신 및 개인정보 보호 제약 조건이 존재하는 분산형 기계학습의 과제를 해결한다.
• 중앙 집중식 데이터 집계나 마스터-워커 조율 없이도 확장 가능한 공감 기반 최적화 방법을 개발한다.
• 기울기 추적 및 분산 분산 감소 기법을 통해 분산 환경에서 수렴 속도와 정밀도를 향상시킨다.
• 원래는 중심화된 환경에서 설계된 고급 확률적 1차 최적화 방법을 분산형 피어 투 피어 네트워크에 적용할 수 있도록 한다.
• 기울기 추적 및 비이중 스트로스티크 가중치를 활용하여 임의의 방향성 그래프로 이러한 방법을 확장한다.

제안 방법

• 모든 노드에서 전역 기울기의 국소 추정치를 공감을 통해 유지하는 분산형 기울기 추적 프레임워크(GT-DGD)를 제안한다.
• 반복 단계에서 기울기를 추적하고 잡음 감소를 통해 분산 환경에 분산 분산 감소 기법(SAGA, SVRG 등)을 통합한다.
• 비방향 그래프에서는 이중 스트로스티크 가중치 행렬을 사용하고, 방향성 그래프로는 행-스토크래스티크 및 열-스토크래스티크 가중치를 사용하는 AB 알고리즘 프레임워크로 확장한다.
• 각 노드가 이웃 노드와 모델 파라미터와 기울기 추정치만 교환하도록 통신 효율적인 프로토콜을 설계하여 데이터 전송을 최소화한다.
• 비이중 스트로스티크 가중치를 처리하기 위해 푸시-섬 기법을 적용하여 일부 변형에서는 고유벡터 추정이 필요 없이 공감을 달성한다.
• 부드럽고 강력히 볼록한 목적 함수 하에서 GT 기반 방법의 수렴 속도를 유도하며, 조건 수 의존성과 함께 선형 수렴을 보여준다.

실험 결과

연구 질문

• RQ1 중앙 집중식 확률적 1차 최적화 방법은 통신 제약과 중앙 조정자가 없는 분산형 피어 투 피어 네트워크에 어떻게 적응시킬 수 있는가?
• RQ2 기울기 추적은 임의의 네트워크 구조에서 분산형 확률적 최적화의 수렴을 가능하게 하는 데 어떤 역할을 하는가?
• RQ3 분산 환경에서 분산 감소 기법은 수렴 속도와 해의 정밀도를 어떻게 향상시키는가?
• RQ4 비이중 스트로스티크 가중치 행렬을 가진 방향성 그래프로 기울기 추적을 어떻게 확장할 수 있는가?
• RQ5 분산 최적화에서의 통신 및 계산의 상충 관계는 무엇이며, 이를 어떻게 최소화할 수 있는가?

주요 결과

• 기울기 추적 기법은 부드럽고 강력히 볼록한 함수에 대해 분산형 확률적 최적화에서 중심화된 방법과 동일한 수렴 속도를 달성하는 선형 수렴을 가능하게 한다.
• 제안된 GT-SAGA 및 GT-SVRG 변형은 기울기 분산 감소를 통해 더 빠른 수렴 속도를 달성하여 고정밀도 해에 빠르게 수렴한다.
• AB 프레임워크를 통해 기울기 추적 기반 방법을 임의의 방향성 그래프에 적용할 수 있으며, 행-스토크래스티크 및 열-스토크래스티크 가중치를 사용하여 이중 스트로스티크 행렬의 제약을 극복한다.
• SAB 및 ADD-OPT는 GT-DGD를 방향성 그래프로 확장하여 통신 오버헤드를 감소시키고 강건성을 향상시키면서도 수렴성을 유지한다.
• GT 기반 방법의 수렴 속도는 조건 수 $κ = L/μ$ 에 따라 달라지며, 강력한 볼록성과 부드러움 조건 하에서 선형 수렴이 달성된다.
• 파rameter 교환을 최소화하고 국소 기울기 추적을 활용함으로써 통신 효율성이 크게 향상되어 자원 제약이 있는 IoT 및 엣지 디바이스에 적합한 방법이 된다.