[논문 리뷰] On Data Dependence in Distributed Stochastic Optimization

Avleen S. Bijral, Anand D. Sarwate외 1명|arXiv (Cornell University)|2016. 03. 14.

Stochastic Gradient Optimization Techniques참고 문헌 25인용 수 9

한 줄 요약

이 논문은 분산 공감 기반 확률적 경사 하강법 알고리즘을 분석하여 수렴 속도가 네트워크의 스펙트럼 갭과 데이터 공분산 행렬의 스펙트럼 노름에 모두 의존함을 보여준다. 성능은 스펙트럼 노름이 낮은 데이터셋에서 향상되며, 무한한 데이터로 구성된 渐近 설정에서는 더 많은 머신을 추가함으로써 성능 향상을 기대할 수 있으며, 특히 이차 미분 가능한 손실 함수에 대해 그러하다.

ABSTRACT

We study a distributed consensus-based stochastic gradient descent (SGD) algorithm and show that the rate of convergence involves the spectral properties of two matrices: the standard spectral gap of a weight matrix from the network topology and a new term depending on the spectral norm of the sample covariance matrix of the data. This data-dependent convergence rate shows that distributed SGD algorithms perform better on datasets with small spectral norm. Our analysis method also allows us to find data-dependent convergence rates as we limit the amount of communication. Spreading a fixed amount of data across more nodes slows convergence; for asymptotically growing data sets we show that adding more machines can help when minimizing twice-differentiable losses.

연구 동기 및 목표

• 데이터 분포가 분산 확률 최적화에서 수렴에 미치는 영향을 이해하기 위해.
• 탈중앙화된 SGD에서 통신 비용과 수렴 속도 사이의 상호 상충 관계를 분석하기 위해.
• 데이터에 의존하는 요소—특히 데이터 공분산의 스펙트럼 노름—이 수렴 속도에 상당한 영향을 미친다는 것을 보여주기 위해.
• 더 많은 머신을 추가해도 통신 오버헤드가 증가함에도 불구하고 성능 향상이 이루어지는 조건을 조사하기 위해.
• 저통신 및 고통신 환경을 연결하는 데이터에 의존하는 수렴 경계를 제공하기 위해.

제안 방법

• 노드들이 국소 SGD 단계를 수행하고 주기적으로 이웃과 평균을 내는 분산 원천 평균화 프레임워크를 사용한다.
• 네트워크 가중치 행렬의 스펙트럼 갭과 표본 공분산 행렬의 스펙트럼 노름에 의존하는 수렴 경계를 분석한다.
• 간헐적인 통신을 모델링하기 위해 통신 빈도 파라미터를 도입하고 데이터에 의존하는 수렴 속도를 유도한다.
• Bianchi 등(2012)의 반복값의 渐近 정규성 결과를 적용하여 최종적인 부적합도 경계를 유도한다.
• 낮은 빈도의 통신이 수렴에 악영향을 미치는 것을 완화하기 위해 미니배치를 사용한다.
• 헤시안 역행렬의 트레이스와 기울기 노이즈 공분산의 스펙트럼 노름에 비례하는 부적합도 경계를 유도한다.

실험 결과

연구 질문

• RQ1 데이터 공분산 행렬의 스펙트럼 노름은 분산 SGD에서 수렴에 어떤 영향을 미치는가?
• RQ2 무한한 데이터로 구성된 설정에서, 분산 환경에서 머신 수를 늘일 경우 어떤 조건에서 수렴이 향상되는가?
• RQ3 간헐적인 통신은 공감 기반 SGD의 수렴 속도에 어떤 영향을 미치는가?
• RQ4 제한된 통신 조건 하에서 분산 최적화에 대해 데이터에 의존하는 경계를 도출할 수 있는가?
• RQ5 무한한 데이터로 구성된 渐진 설정에서 네트워크 효과가 사라지며, 만약 그렇다면 어떤 조건에서 그러한 현상이 발생하는가?

주요 결과

• 수렴 속도는 네트워크 가중치 행렬의 스펙트럼 갭과 데이터 공분산 행렬의 스펙트럼 노름에 모두 의존한다.
• 분산 SGD는 데이터 공분산의 스펙트럼 노름이 작은 데이터셋에서 더 잘 작동한다.
• 유한한 데이터와 희박한 연결성 조건에서는 더 많은 노드에 데이터를 분산하면 통신 거리가 증가하여 수렴 속도가 느려진다.
• 무한한 데이터로 구성된 渐진 설정에서는 이차 미분 가능한 손실 함수에 대해 더 많은 머신을 추가함으로써 성능 향상이 이루어진다.
• 미니배치를 통해 낮은 빈도의 통신이 수렴에 악영향을 미치는 것을 줄일 수 있다.
• 최종 부적합도 경계는 $ \frac{25\rho L^{2}}{m} \cdot \operatorname{Tr}(\nabla^{2}J({\bf w}^{*})^{-1}) \cdot \frac{G}{\mu} $ 로 스케일링되며, 여기서 $ \rho $ 는 데이터 공분산의 스펙트럼 노름이다.