[논문 리뷰] Decentralised Learning with Random Features and Distributed Gradient Descent

Dominic Richards, Patrick Rebeschini외 1명|arXiv (Cornell University)|2020. 07. 01.

Stochastic Gradient Optimization Techniques인용 수 8

한 줄 요약

이 논문은 랜덤 특징과 분산 그래디언트 디센트를 사용하여 네트워크의 에이전트 간에 효율적이고 메모리가 가벼운 학습을 가능하게 하는 탈중앙화된 커널 회귀 알고리즘을 제안한다. 네트워크 크기와 선형적으로 스케일링되는 최소최대 최적의 일반화 오차 한계를 확립하며, 에이전트당 데이터가 네트워크 구조에 비해 충분할 경우 런타임에서 선형적 속도 향상을 달성한다.

ABSTRACT

We investigate the generalisation performance of Distributed Gradient Descent with Implicit Regularisation and Random Features in the homogenous setting where a network of agents are given data sampled independently from the same unknown distribution. Along with reducing the memory footprint, Random Features are particularly convenient in this setting as they provide a common parameterisation across agents that allows to overcome previous difficulties in implementing Decentralised Kernel Regression. Under standard source and capacity assumptions, we establish high probability bounds on the predictive performance for each agent as a function of the step size, number of iterations, inverse spectral gap of the communication matrix and number of Random Features. By tuning these parameters, we obtain statistical rates that are minimax optimal with respect to the total number of samples in the network. The algorithm provides a linear improvement over single machine Gradient Descent in memory cost and, when agents hold enough data with respect to the network size and inverse spectral gap, a linear speed-up in computational runtime for any network topology. We present simulations that show how the number of Random Features, iterations and samples impact predictive performance.

연구 동기 및 목표

• 중앙 집중형 융합 센터 없이 탈중앙화된 커널 회귀 문제를 해결하기 위해, 에이전트들이 로컬에서 보유한 데이터로부터 협업적으로 학습할 수 있도록 하는 것.
• 에이전트 간 공통의 함수 표현을 위해 랜덤 특징을 활용하여 탈중앙화된 커널 방법에서의 메모리 및 파rameterization 장벽을 극복하는 것.
• 탈중앙화된 네트워크 환경에서 암묵적 정규화를 갖는 분산 그래디언트 디센트에 대해 높은 확률의 일반화 오차 한계를 제공하는 것.
• 기본적인 소스 및 용량 가정 하에 총 네트워크 샘플 수에 대해 최소최대 속도를 달성함으로써 방법의 통계적 최적성을 확립하는 것.
• 단일 머신 학습 대비 계산 런타임에서 선형적 속도 향상과 메모리 비용 감소를 제공하는지 확인하는 것.

제안 방법

• 알고리즘은 입력 데이터를 유한 차원 공간으로 매핑하기 위해 랜덤 특징을 사용하여 에이전트 간 공통의 파rameterization을 가능하게 하며, 중앙 집중형 모델이 필요로 하는 것을 방지한다.
• 분산 그래디언트 디센트는 랜덤 특징 공간에서 적용되며, 에이전트들은 로컬 데이터와 이웃 에이전트 간의 통신을 기반으로 이중 스토하스틱 통신 행렬을 통해 로컬 모델을 업데이트한다.
• 단계 크기와 반복 횟수를 통한 암묵적 정규화를 통해 명시적 페널티 항 없이 모델 복잡도를 제어한다.
• 랜덤 특징 공간에서의 Representer 정리 활용으로 해가 항상 유한 차원 부분공간 내에 유지되어 효율적인 계산이 가능하다.
• 반복값을 평균 및 편차 성분으로 분해함으로써 수렴성과 일반화를 분석하며, 통신 행렬의 스펙트럼 성질을 사용하여 경계를 유도한다.
• 높은 확률의 일반화 오차 경계는 통신 행렬의 스펙트럼 갭과 랜덤 특징 근사 오차를 제어하여 개별 에이전트가 네트워크 평균에서 벗어나지 않도록 함으로써 유도된다.

실험 결과

연구 질문

• RQ1 중앙 집중형 융합 센터 없이도 탈중앙화된 커널 회귀를 효율적이고 안정적으로 구현할 수 있는가?
• RQ2 랜덤 특징의 수가 탈중앙화된 네트워크에서 일반화 성능에 어떤 영향을 미치는가?
• RQ3 스펙트럼 갭의 역수로 측정되는 네트워크 구조가 학습 수렴성과 오차에 어떤 영향을 미치는가?
• RQ4 총 데이터 볼륨에 대해 탈중앙화된 환경에서 최소최대 최적의 통계적 속도를 달성할 수 있는가?
• RQ5 알고리즘이 단일 머신 학습 대비 계산 런타임에서 선형적 속도 향상과 메모리 비용 감소를 제공하는가?

주요 결과

• 기본적인 소스 및 용량 가정 하에 네트워크 내 총 샘플 수에 대해 최소최대 최적의 일반화 오차 비율을 달성한다.
• 예측 성능에 대한 높은 확률의 경계가 확립되었으며, 이는 단계 크기, 반복 횟수, 통신 행렬의 역스펙트럼 갭, 랜덤 특징 수에 명시적으로 의존한다.
• 랜덤 특징의 사용 덕분에 단일 머신 커널 방법 대비 메모리 비용을 선형적으로 감소시킨다.
• 에이전트가 네트워크 크기 및 역스펙트럼 갭에 비해 충분한 데이터를 보유할 경우, 어떤 네트워크 구조이든 계산 런타임에서 선형적 속도 향상을 달성한다.
• 시뮬레이션 결과는 랜덤 특징 수, 반복 횟수, 로컬 데이터 샘플 수가 증가할수록 예측 성능이 향상되며, 이는 이론적 경계와 일치함을 확인한다.
• 분석 결과, 개별 에이전트가 네트워크 평균에서 벗어나는 편차는 통신 행렬의 스펙트럼 갭에 의해 제어되며, 더 잘 연결된 네트워크일수록 더 빠른 수렴을 보인다.