[논문 리뷰] Layered SGD: A Decentralized and Synchronous SGD Algorithm for Scalable Deep Neural Network Training

Kwangmin Yu, Thomas R. Flynn외 2명|arXiv (Cornell University)|2019. 06. 13.

Advanced Neural Network Applications참고 문헌 19인용 수 8

한 줄 요약

계층적 SGD(LSGD)는 작업자들을 하위 그룹으로 나누고 전용 통신 노드를 두어 I/O 및 통신 지연을 겹치는 분산형 동기 SGD 알고리즘으로, 선형 확장성과 표준 SGD의 정확도를 유지한다. ImageNet에서의 실험 결과, LSGD는 256개 GPU로 확장되면서도 높은 정확도(72.79%)를 유지하며 93.1%의 확장 효율성을 달성한다.

ABSTRACT

Stochastic Gradient Descent (SGD) is the most popular algorithm for training deep neural networks (DNNs). As larger networks and datasets cause longer training times, training on distributed systems is common and distributed SGD variants, mainly asynchronous and synchronous SGD, are widely used. Asynchronous SGD is communication efficient but suffers from accuracy degradation due to delayed parameter updating. Synchronous SGD becomes communication intensive when the number of nodes increases regardless of its advantage. To address these issues, we introduce Layered SGD (LSGD), a new decentralized synchronous SGD algorithm. LSGD partitions computing resources into subgroups that each contain a communication layer (communicator) and a computation layer (worker). Each subgroup has centralized communication for parameter updates while communication between subgroups is handled by communicators. As a result, communication time is overlapped with I/O latency of workers. The efficiency of the algorithm is tested by training a deep network on the ImageNet classification task.

연구 동기 및 목표

• 노드 수가 증가함에 따라 통신 오버헤드가 증가하는 동기 분산 SGD의 확장성 저하 문제를 해결한다.
• 지연된 파라미터 갱신으로 인한 정확도 저하를 겪는 异步 SGD의 문제를 해결한다.
• 편향 없는 기울기와 일致한 파라미터 갱신을 보장하는 표준 SGD와 수학적으로 동일한 분산형 대안을 설계한다.
• 계층적이고 계층적인 통신 구조를 통해 통신 시간을 I/O 지연과 겹침으로써 대규모 클러스터에서의 효율적 학습을 가능하게 한다.
• 표준 SGD의 수렴 성질을 유지하면서도 스루풋을 선형적으로 확장한다.

제안 방법

• 분산 작업자들을 하위 그룹으로 나누며, 각 그룹에는 다수의 계산 작업자와 하나의 전용 통신 전용 노드(통신자)가 포함되어 지역 파라미터 서버 기능을 수행한다.
• 각 그룹 내에서 로컬 all-reduce 연산을 사용하여 파라미터를 동기화함으로써 그룹 간 통신 주파수를 감소시킨다.
• 계산 작업자의 I/O 지연(예: 데이터 로딩) 시간과 그룹 내 all-reduce 통신 시간을 겹친다.
• 통신자를 통해 그룹 간 통신을 가능하게 하며, 이들은 갱신된 파라미터를 그룹 간으로 집계하고 전파하는 릴레이 노드 역할을 한다.
• 동일한 학습률, 배치 크기 및 초기화 방식을 유지함으로써 표준 SGD와 수학적으로 동일한 갱신 규칙을 보장하여 편향 없는 기울기를 보장한다.
• 큰 미니배치 크기를 사용할 경우 학습을 안정화시키기 위해 학습률 웜업 전략을 적용한 선형 스케일링 규칙을 적용한다.

실험 결과

연구 질문

• RQ1 분산형 SGD 변종이 통신 효율성을 향상시키면서도 표준 동기 SGD와 동일한 정확도를 유지할 수 있는가?
• RQ2 분산 DNN 학습에서 통신 지연을 효과적으로 I/O 지연과 겹칠 수 있는가?
• RQ3 LSGD의 계층적이고 계층적인 통신 구조가 작업자 수가 증가함에 따라 선형 스루풋 확장성을 달성하는가?
• RQ4 대규모 DNN(예: ResNet-50)에서 LSGD는 기존의 동기 SGD(CSGD)에 비해 정확도와 학습 속도 측면에서 어떻게 성능을 내는가?
• RQ5 큰 미니배치 크기와 선형적으로 확장된 학습률을 사용할 경우 LSGD는 수렴 안정성을 유지할 수 있는가?

주요 결과

• LSGD는 256개 GPU에서 93.1%의 확장 효율성을 달성하여, 동일 규모에서 효율성이 63.8%로 급격히 떨어지는 CSGD를 크게 앞서며 성능을 냈다.
• LSGD는 32개 작업자까지 거의 완벽한 선형 스루풋 확장성을 보이며, I/O와 통신을 겹침으로써 대규모에서도 높은 효율을 유지한다.
• LSGD는 표준 SGD와 동일한 정확도를 유지한다: 256개 작업자와 16,384의 배치 크기를 사용할 때 ImageNet에서의 상위-1 검증 정확도는 72.79%이다.
• 동일 조건에서 CSGD의 정확도는 약 略히 높은 73.49%이지만, 이는 알고리즘적 편향이 아니라 큰 미니배치 크기로 인한 잘 알려진 정확도 저하 때문이며, 알고리즘적 우월성은 아님을 시사한다.
• LSGD는 표준 SGD와 동일한 편향 없는 기울기와 동일한 파라미터 갱신 규칙을 유지하여 이론적으로 동치이며 일致한 수렴 행동을 보장한다.
• 웜업 전략은 큰 학습률(예: 256개 작업자일 경우 6.4)을 사용할 경우 초기 에포크에서 발생하는 학습 불안정성을 효과적으로 완화한다.