[논문 리뷰] Asymptotic Network Independence in Distributed Stochastic Optimization for Machine Learning

Shi Pu, Alex Olshevsky외 1명|arXiv (Cornell University)|2019. 06. 28.

Stochastic Gradient Optimization Techniques참고 문헌 40인용 수 5

한 줄 요약

이 논문은 분산 스토하스틱 최적화에서 渐近적 네트워크 독립성을 확립하며, 특정 조건 하에서 분산 방법이 동일한 계산 능력을 갖는 중심화된 방법과 유사한 수렴 속도를 보임을 보여준다. 네트워크에서 분산 스토하스틱 경사 하강법(DSGD)을 분석함으로써 저자들은 공감 오차와 최적화 오차가 유사한 속도로 감소함을 입증하며, 노드 수가 증가함에 따라 네트워크 구조에 관계없이 거의 최적의 성능을 달성함을 보였다.

ABSTRACT

We provide a discussion of several recent results which, in certain scenarios, are able to overcome a barrier in distributed stochastic optimization for machine learning. Our focus is the so-called asymptotic network independence property, which is achieved whenever a distributed method executed over a network of n nodes asymptotically converges to the optimal solution at a comparable rate to a centralized method with the same computational power as the entire network. We explain this property through an example involving the training of ML models and sketch a short mathematical analysis for comparing the performance of distributed stochastic gradient descent (DSGD) with centralized stochastic gradient decent (SGD).

연구 동기 및 목표

• 네트워크 조율 비용과 통신 지연으로 인한 분산 스토하스틱 최적화의 성능 저하 문제를 해결하기 위해.
• 네트워크 유도적 브로큰 밸류가 존재하는 상황에서도 분산 알고리즘이 중심화된 방법과 유사한 수렴 속도를 달성할 수 있는지 조사하기 위해.
• 분산 학습 시스템에서 네트워크 구조, 통신 지연, 수렴 속도 간의 상호작용을 분석하기 위해.
• 분산 최적화가 네트워크 구조에 渐近적으로 독립적이 되는 조건을 규명하여, 머신러닝 모델의 확장성 있고 효율적인 훈련을 가능하게 하기 위해.
• 漸진 수렴에 이르기 이전의 일시적 단계와 그 네트워크 연결성 및 크기 의존성에 대해 탐색하기 위해.

제안 방법

• $ n $개의 노드로 구성된 네트워크에서 각 노드가 부분 데이터를 보유하고 있는 지역 볼록 함수의 합을 최소화하는 문제로 분산 최적화 문제를 수식화하기 위해.
• 피어 투 피어 통신을 사용하는 분산 스토하스틱 경사 하강법(DSGD)를 적용하여, 각 노드가 국소 기울기를 계산하고 이웃 노드의 상태에 대한 가중 평균을 사용해 업데이트를 수행하기 위해.
• 대칭적이고 이중 스 tochastic 전이 행렬을 보장하기 위해 메트로폴리스 가중치를 사용하여 수렴을 보장하기 위해.
• 최적화 오차(최적 해와의 거리)와 공감 오차(노드 간의 일치에서의 이탈)로 분해하여 수렴을 분석하기 위해.
• 다중 몬테카를로 시뮬레이션을 통해 DSGD 성능을 중심화된 SGD와 예상 오차 지표로 비교하기 위해.
• 온라인 학습 시나리오를 모델링하고 수렴 동역학을 평가하기 위해 편향이 없는 스토하스틱 기울기를 사용한 릿지 회귀 설정을 사용하기 위해.

실험 결과

연구 질문

• RQ1 어떤 조건에서 분산 스토하스틱 최적화가 중심화된 방법과 유사한 수렴 속도를 달성할 수 있는가?
• RQ2 네트워크 구조는 분산 알고리즘의 일시적 단계와 渐진 수렴 속도에 어떤 영향을 미치는가?
• RQ3 통신 지연과 메시지 손실은 대규모 시스템에서 분산 최적화의 성능에 어느 정도 영향을 미치는가?
• RQ4 공감 오차가 최적화 오차보다 더 빨리 감소할 수 있는가, 그리고 이는 알고리즘 설계에 어떤 의미를 갖는가?
• RQ5 스토하스틱 기울기의 사용은 중심화된 대비 분산 방법의 渐진적 행동에 어떤 영향을 미치는가?

주요 결과

• DSGD는 渐진적 네트워크 독립성을 달성한다: 초기 일시적 단계 이후, DSGD의 수렴 속도는 네트워크 크기나 구조에 관계없이 중심화된 SGD와 동일하다.
• 랜덤 네트워크와 격자 네트워크 양쪽 모두에서 DSGD의 기대 최적화 오차는 결국 중심화된 SGD와 구별되지 않으며, 랜덤 네트워크에서는 약 800회 반복 후, 격자 네트워크에서는 약 40,000회 반복 후 수렴 속도가 일치한다.
• 공감 오차는 최적화 오차보다 더 빨리 감소함을 확인하여, 노드들이 최적 해에 도달하기 이전에 이미 상호 합의에 도달하고 있음을 시사한다.
• 漸진 수렴에 이르기까지의 일시적 시간은 네트워크 연결성에 따라 달라지며, 더 높은 연결성을 가진 랜덤 네트워크가 격자 네트워크보다 더 빨리 渐진 영역에 진입한다.
• 메트로폴리스 가중치의 사용은 수렴을 보장하며, 최적화 오차와 공감 오차 성분으로의 오차 분해 이론적 분석을 가능하게 한다.
• 이 결과는 편향이 없는 스토하스틱 기울기를 갖는 볼록, 미분 가능, 강력 볼록 목표 함수에 대해 성립하며, 일반적인 머신러닝 훈련 문제에 넓은 적용 가능성을 시사한다.