[논문 리뷰] Optimal Statistical Rates for Decentralised Non-Parametric Regression with Linear Speed-Up

Dominic Richards, Patrick Rebeschini|arXiv (Cornell University)|2019. 01. 01.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 분산된 비모수적 회귀에서 분산 그래디언트 디센트를 사용하여 최적의 통계적 속도를 확립한다. 각 에이전트가 충분한 데이터를 확보할 경우, 통신 지연이 낮다면 런타임에서 선형 속도 향상을 달성하며, 이는 중심화된 성능과 일치한다. 핵심 통찰은 통계적 농도가 네트워크 구조에 독립적인 반복 횟수를 가능하게 하는 대규모 데이터 환경을 가능하게 한다는 것이다. 이는 이전의 분산 방법과는 다름.

ABSTRACT

We analyse the learning performance of Distributed Gradient Descent in the context of multi-agent decentralised non-parametric regression with the square loss function when i.i.d. samples are assigned to agents. We show that if agents hold sufficiently many samples with respect to the network size, then Distributed Gradient Descent achieves optimal statistical rates with a number of iterations that scales, up to a threshold, with the inverse of the spectral gap of the gossip matrix divided by the number of samples owned by each agent raised to a problem-dependent power. The presence of the threshold comes from statistics. It encodes the existence of a big data regime where the number of required iterations does not depend on the network topology. In this regime, Distributed Gradient Descent achieves optimal statistical rates with the same order of iterations as gradient descent run with all the samples in the network. Provided the communication delay is sufficiently small, the distributed protocol yields a linear speed-up in runtime compared to the single-machine protocol. This is in contrast to decentralised optimisation algorithms that do not exploit statistics and only yield a linear speed-up in graphs where the spectral gap is bounded away from zero. Our results exploit the statistical concentration of quantities held by agents and shed new light on the interplay between statistics and communication in decentralised methods. Bounds are given in the standard non-parametric setting with source/capacity assumptions.

연구 동기 및 목표

• 분산 그래디언트 디센트의 통계적 효율성과 통신 효율성을 분산 비모수적 회귀에서 분석한다.
• 분산 학습이 중심화된 학습과 동일한 반복 복잡도를 달성할 수 있는 조건을 규명한다.
• 에이전트당 데이터와 네트워크 구조가 수렴 속도에 미치는 영향을 규명한다.
• 스펙트럼 갭이 네트워크의 스펙트럼 갭에 영향을 받지 않는 대규모 데이터 환경을 설정한다.

제안 방법

• 독립 동일분포 표본이 에이전트에 할당된 다중 에이전트 분산 환경에서 제곱 손실을 사용한 분산 그래디언트 디센트를 사용한다.
• 에이전트가 보유한 양의 통계적 농도와 그들이 거론 행렬과 상호작용하는 방식을 분석하여 수렴을 분석한다.
• 반복 복잡도를 스펙트럼 갭의 역수를 에이전트당 표본 수의 문제에 따라 결정되는 거듭제곱으로 나누어 유도한다.
• 네트워크 구조가 더 이상 반복 횟수에 영향을 주지 않는 '대규모 데이터 환경'을 정의하는 임계값을 도입한다.
• 표준 비모수적 가정(원천 조건 및 용량 조건)을 사용하여 추정 오차를 경계한다.
• 낮은 통신 지연 조건 하에서 분산 프로토콜이 단일 머신 학습 대비 런타임에서 선형 속도 향상을 달성함을 보여준다.

실험 결과

연구 질문

• RQ1 분산 그래디언트 디센트가 분산 비모수적 회귀에서 최적의 통계적 속도를 달성할 수 있는 조건는 무엇인가?
• RQ2 필요로 하는 반복 수가 네트워크 구조와 에이전트당 데이터에 따라 어떻게 변화하는가?
• RQ3 스펙트럼 갭에 독립적인 수렴이 가능한 대규모 데이터 환경이 존재하는가?
• RQ4 제한된 스펙트럼 갭이 아닌 조건에서도 분산 방법이 런타임에서 선형 속도 향상을 달성할 수 있는가?
• RQ5 에이전트가 보유한 데이터의 통계적 농도가 분산 학습에서 통신 효율성에 어떻게 영향을 주는가?

주요 결과

• 각 에이전트가 네트워크 크기 대비 충분히 많은 표본을 확보할 경우, 분산 그래디언트 디센트는 최적의 통계적 속도를 달성한다.
• 대규모 데이터 환경에서는 필요한 반복 수가 네트워크의 스펙트럼 갭에 영향을 받지 않으며, 중심화된 학습과 일치한다.
• 반복 복잡도는 스펙트럼 갭의 역수를 에이전트당 표본 수의 문제에 따라 결정되는 거듭제곱으로 나누어지는 방식으로 스케일링되며, 임계값까지 성립한다.
• 충분히 낮은 통신 지연 조건 하에서 분산 프로토콜은 단일 머신 학습 대비 런타임에서 선형 속도 향상을 달성한다.
• 결과는 분산 방법에서 통계적 농도와 통신 효율성 간의 본질적인 상호작용을 드러낸다.
• 분석은 유리한 데이터 및 통신 조건 하에서 분산 알고리즘이 반복 수에서 중심화된 성능을 따라할 수 있음을 확인한다.