[논문 리뷰] Gradient Diversity: a Key Ingredient for Scalable Distributed Learning

Dong Yin, Ashwin Pananjady외 4명|arXiv (Cornell University)|2017. 06. 18.

Stochastic Gradient Optimization Techniques참고 문헌 48인용 수 20

한 줄 요약

이 논문은 분산 미니배치 SGD의 확장성과 일반화 성능을 결정짓는 핵심 요소로 기울기 다양성을 제안한다. 배치 크기가 데이터에 의존하는 다양성 측도에 의해 제한될 경우 수렴성과 일반화가 순차적 SGD와 일치함을 증명하며, 이 범위를 초월해 기울기 다양성이 부족할 경우 스피드업 포화와 일반화 성능 저하가 발생함을 규명한다. 이는 드롭아웃 및 양자화와 같은 히우리스틱 기법에 대한 영향을 포함한다.

ABSTRACT

It has been experimentally observed that distributed implementations of mini-batch stochastic gradient descent (SGD) algorithms exhibit speedup saturation and decaying generalization ability beyond a particular batch-size. In this work, we present an analysis hinting that high similarity between concurrently processed gradients may be a cause of this performance degradation. We introduce the notion of gradient diversity that measures the dissimilarity between concurrent gradient updates, and show its key role in the performance of mini-batch SGD. We prove that on problems with high gradient diversity, mini-batch SGD is amenable to better speedups, while maintaining the generalization performance of serial (one sample) SGD. We further establish lower bounds on convergence where mini-batch SGD slows down beyond a particular batch-size, solely due to the lack of gradient diversity. We provide experimental evidence indicating the key role of gradient diversity in distributed learning, and discuss how heuristics like dropout, Langevin dynamics, and quantization can improve it.

연구 동기 및 목표

• 대규모 배치 분산 SGD에서 관측된 스피드업 포화와 일반화 성능 저하 문제를 해결한다.
• 동시 기울이 간 유사도(낮은 다양성)가 성능 저하의 근본 원인임을 규명한다.
• 수렴성과 일반화를 유지하는 데 필요한 최적의 배치 크기의 데이터에 의존하는 이론적 한계를 설정한다.
• 드롭아웃 및 랭글레인 역학과 같은 알고리즘 히우리스틱 기법들이 기울기 다양성 향상에 기여함을 연결한다.
• 기울기 다양성에 기반한 알고리즘 안정성에 기반해 미니배치 SGD의 일반화 한계를 제시한다.

제안 방법

• 기울기 다양성을 데이터 포인트 간 기울기 차이의 기대 내적 값으로 정의하여 동시 업데이트 간 이질성 정도를 측정한다.
• 배치 크기가 데이터로부터 유도된 다양성 기반 한계에 비례할 경우, 미니배치 SGD가 일정 상수의 범위 내에서 순차적 SGD와 유사한 수렴 속도를 보임을 증명한다.
• 최악의 경우 하한을 유도하여 배치 크기가 다양성 기반 한계를 초과할 경우, 조건부로라도 수렴성이 악화됨을 보여주며, 이는 볼록 설정에서도 마찬가지이다.
• 기울기 다양성에 기반해 미니배치 SGD의 알고리즘 안정성을 분석하여, 배치 크기가 다양성 임계값 이하일 경우 수렴 안정성이 하나의 샘플 SGD와 일치함을 보여준다.
• 기울기 다양성 프레임워크를 적용해 드롭아웃, 양자화, 확률적 기울기 랭글레인 역학을 분석하며, 이들이 효과적인 기울기 다양성을 향상시킴을 보여준다.
• 확률적 및 기하학적 추론을 사용해 일반선형 모델과 희소 갈등 문제에 대해 기울기 다양성을 한정한다.

실험 결과

연구 질문

• RQ1 왜 분산 환경에서 대규모 배치 크기를 사용할 경우 미니배치 SGD가 스피드업 포화와 열악한 일반화 성능을 보이는가?
• RQ2 기울기 다양성과 미니배치 SGD의 수렴 속도 사이의 이론적 관계는 무엇인가?
• RQ3 수렴성과 일반화 성능이 순차적 SGD와 유사한 수준을 유지하기 위해 데이터에 의존하는 배치 크기의 한계를 도출할 수 있는가?
• RQ4 드롭아웃 및 양자화와 같은 일반적인 딥러닝 히우리스틱 기법들이 기울기 다양성에 어떤 영향을 미치는가?
• RQ5 기울기 다양성에 의존하는 미니배치 SGD의 일반화 안정성 보장이 존재하는가?

주요 결과

• 배치 크기가 데이터에 의존하는 다양성 측도에 의해 제한될 경우, 미니배치 SGD의 수렴 속도는 일정 상수의 범위 내에서 순차적 SGD와 유사하다.
• 볼록 및 비볼록 문제 모두에서 최적의 배치 크기는 동일한 다양성 기반 임계값에 의해 제한되며, 이는 날카롭고 데이터에 의존하는 값이다.
• 배치 크기가 다양성 기반 한계를 초과할 경우, 조건부로라도 기울기 다양성이 부족해져 수렴 속도가 느려지며, 이는 볼록 설정에서도 마찬가지이다.
• 배치 크기가 다양성 임계값 이하일 동안은 미니배치 SGD의 일반화 성능이 순차적 SGD와 동일하다.
• 드롭아웃과 확률적 기울기 랭글레인 역학은 효과적인 기울기 다양성을 향상시켜, 이들이 대규모 배치 훈련에서의 경험적 성공을 설명한다.
• i.i.d. 서브-가우시안 특징을 가진 일반선형 모델의 경우, 기울기 다양성은 특징 수에 비례하는 항으로 하한이 존재하며, 높은 확률로 성립한다.