[논문 리뷰] Gradient tracking and variance reduction for decentralized optimization and machine learning

Ran Xin, Soummya Kar외 1명|arXiv (Cornell University)|2020. 02. 13.

Stochastic Gradient Optimization Techniques참고 문헌 50인용 수 7

한 줄 요약

이 논문은 분산 최적화를 위한 통합 프레임워크를 제안하며, 기울기 추적과 분산 감소를 결합하여 표준 분산 확률적 경사 하강법(DSGD)에 비해 수렴 속도와 강건성을 크게 향상시킨다. 일반 네트워크에서 부드럽고 강력한 볼록 목적 함수에 대해 선형 수렴를 달성하며, 이론적 보장과 비볼록 문제에 대한 실증적 검증을 제공한다.

ABSTRACT

Decentralized methods to solve finite-sum minimization problems are important in many signal processing and machine learning tasks where the data is distributed over a network of nodes and raw data sharing is not permitted due to privacy and/or resource constraints. In this article, we review decentralized stochastic first-order methods and provide a unified algorithmic framework that combines variance-reduction with gradient tracking to achieve both robust performance and fast convergence. We provide explicit theoretical guarantees of the corresponding methods when the objective functions are smooth and strongly-convex, and show their applicability to non-convex problems via numerical experiments. Throughout the article, we provide intuitive illustrations of the main technical ideas by casting appropriate tradeoffs and comparisons among the methods of interest and by highlighting applications to decentralized training of machine learning models.

연구 동기 및 목표

• 중앙 집중적 조율 없이 노드 간에 분산된 데이터를 가진 자원 제약 및 개인정보 민감한 환경에서 분산 머신 러닝의 과제를 해결한다.
• 분산 확률적 경사 하강법(DSGD)의 느린 수렴과 높은 분산 문제를 분산 감소 기법을 통합하여 극복한다.
• 기울기 추적과 다수의 분산 감소 방법을 통합하여 성능과 강건성을 향상시키는 통합 알고리즘 프레임워크를 개발한다.
• 부드럽고 강력한 볼록 목적 함수에 대해 이론적 수렴 보장을 제공하며, 딥 러닝과 같은 비볼록 문제에 대한 실증적 검증을 수행한다.
• 제안된 방법이 DSGD에 비해 유도하는 통신, 계산 및 저장 오버헤드를 분석하여 실용적 타당성을 확보한다.

제안 방법

• 각 노드가 국소 정보와 이웃 간 교환을 통해 전역 기울기를 추정할 수 있도록 기울기 추적 메커니즘을 도입하여 기울기 방향에 대한 일치를 보장한다.
• 국소 기울기 메모리 유지 및 효율적 업데이트를 통해 SAGA 및 SVRG와 같은 분산 감소 기법을 분산 환경에 통합한다.
• 각 노드가 전역 기울기의 국소 추정치를 유지하고 이웃의 추정치를 가중 평균하여 업데이트하는 공통화 기반 업데이트 규칙을 사용한다.
• 일반적인 방향 그래프에서 수렴을 보장하기 위해 이중 스토하스틱(DS) 또는 열 스토하스틱(CS) 가중치 행렬을 사용하여 알고리즘을 수식화한다.
• AB 방법을 사용하여 GT-DGD, SAGA, SVRG를 일반적인 방향 그래프로 일반화하는 통합 프레임워크를 제공하여 더 넓은 적용 가능성을 확보한다.
• 양자화, 비동기 업데이트 및 통신/계산 트레이드오프를 통합하여 통신 효율적인 변형을 설계하여 오버헤드를 줄인다.

실험 결과

연구 질문

• RQ1 어떻게 분산 최적화에서 분산 감소를 효과적으로 기울기 추적과 융합하여 수렴 속도를 가속화할 수 있는가?
• RQ2 일반적인 네트워크 구조에서 부드럽고 강력한 볼록 목적 함수에 대해 제안된 프레임워크의 이론적 수렴 속도는 어떠한가?
• RQ3 표준 DSGD에 비해 제안된 방법의 통신, 계산 및 저장 비용은 어떻게 증가하는가?
• RQ4 이 프레임워크는 딥 뉴럴 네트워크 학습과 같은 비볼록 문제로 확장될 수 있으며, 실증적으로는 어떤 성능을 보이는가?
• RQ5 AB 알고리즘이 방향 그래프에서 기울기 추적과 분산 감소를 통합하는 분산 방법을 어떻게 통합하는가?

주요 결과

• 제안된 프레임워크는 부드럽고 강력한 볼록 함수에 대해 O((1 - μ/L)^k)의 선형 수렴 속도를 달성하며, 중심 집중 설정에서의 최고 수준의 성능을 유지한다.
• SAGA 및 SVRG와 같은 분산 감소 기반 기울기 추적 방법(GT-SAGA, GT-SVRG)은 특히 조건 수가 나쁜 문제에서 표준 DSGD보다 훨씬 더 빠르게 수렴한다.
• AB 알고리즘을 통해 일반적인 방향 그래프에서도 적용 가능하며, 이는 통신 가중치가 이중 스토하스틱일 필요가 없더라도 강건한 성능을 유지할 수 있음을 의미한다.
• 수치 실험을 통해 딥 러닝 모델을 포함한 비볼록 문제에서 뛰어난 성능을 입증하여 볼록성 가정을 초월한 실용적 유용성을 시사한다.
• 기울기 메모리 및 추적 변수로 인해 통신 및 저장 오버헤드가 다소 증가하지만, 이는 수렴 속도의 상당한 향상으로 인해 정당화된다.
• 이론적 분석을 통해 기울기 추적과 분산 감소의 조합이 전역 수렴을 유지하면서도 기울기 분산을 줄이고 수렴 속도를 가속화함을 확인한다.