[논문 리뷰] Fully Decoupled Neural Network Learning Using Delayed Gradients

Huiping Zhuang, Yi Wang외 3명|arXiv (Cornell University)|2019. 06. 21.

Advanced Neural Network Applications참고 문헌 28인용 수 12

한 줄 요약

이 논문은 지연된 기울기를 사용하는 완전히 분리된 신경망 학습(Fully Decoupled Neural Network Learning using Delayed Gradients, FDG)을 제안한다. 이 방법은 워커 간에 네트워크 모듈을 비동기적으로 훈련시켜 역전파에서의 순차적 잠금(전방, 역방향, 갱신)을 제거한다. FDG는 기울기 수축 과정을 통해 지연된 기울기를 감소시켜 노후화를 줄이며, CIFAR-10에서 최대 3.20×, ImageNet에서 2.72×의 속도 향상을 달성한다. 깊고 넓은 네트워크에서 표준 역전파(BP) 성능을 유지하거나 초월한다.

ABSTRACT

Training neural networks with back-propagation (BP) requires a sequential passing of activations and gradients, which forces the network modules to work in a synchronous fashion. This has been recognized as the lockings (i.e., the forward, backward and update lockings) inherited from the BP. In this paper, we propose a fully decoupled training scheme using delayed gradients (FDG) to break all these lockings. The FDG splits a neural network into multiple modules and trains them independently and asynchronously using different workers (e.g., GPUs). We also introduce a gradient shrinking process to reduce the stale gradient effect caused by the delayed gradients. In addition, we prove that the proposed FDG algorithm guarantees a statistical convergence during training. Experiments are conducted by training deep convolutional neural networks to perform classification tasks on benchmark datasets, showing comparable or better results against the state-of-the-art methods as well as the BP in terms of both generalization and acceleration abilities. In particular, we show that the FDG is also able to train very wide networks (e.g., WRN-28-10) and extremely deep networks (e.g., ResNet-1202). Code is available at https://github.com/ZHUANGHP/FDG.

연구 동기 및 목표

• 표준 역전파에서 훈련 효율을 제한하는 순차적 잠금(전방, 역방향, 갱신)을 제거하기 위해.
• 동기화된 전파나 공유 기울기를 요구하지 않고 진정으로 모듈 단위로 병렬화된 깊은 신경망 훈련을 가능하게 하기 위해.
• 고속 가속을 달성하면서도 일반화 성능을 유지하거나 향상시키기 위해.
• 이전의 국소 오차 학습 접근법과 달리 추가적인 학습 가능한 파라미터를 도입하지 않기 위해.
• 제안된 완전히 분리된 훈련 체계의 통계적 수렴성을 증명하기 위해.

제안 방법

• 네트워크가 워커(예: GPU) 간에 비동기적으로 훈련되는 다수의 독립된 모듈로 분할되어 순차적 의존성이 제거된다.
• 완전한 역방향 전파가 완료되기 전에 지연된 기울기를 사용하여 파라미터를 갱신함으로써 갱신과 역방향 전파를 분리한다.
• 지연된 업데이트에서 기인한 오래된 기울기의 악영향을 줄이기 위해 기울기 수축 과정을 도입한다.
• DNI나 DGL과 달리 보조 네트워크나 추가 학습 가능한 파라미터를 사용하지 않아 모델 효율성을 유지한다.
• 이론적 분석을 통해 FDG가 약한 가정 하에 통계적 수렴을 보장함을 증명한다.
• 표준 프로토콜을 통해 통신이 이루어지며, 고속 인터커넥트(예: NVLink)를 사용할 경우 성능 향상이 기대된다.

실험 결과

연구 질문

• RQ1 추가적인 학습 가능한 파라미터를 도입하지 않고 깊은 신경망의 완전히 분리된 훈련을 달성할 수 있는가?
• RQ2 기울기 수축과 함께 지연된 기울기를 사용할 경우 표준 역전파 대비 일반화 성능을 유지하거나 향상시킬 수 있는가?
• RQ3 비동기적이고 모듈 단위의 훈련이 분산 환경에서 선형 속도 향상을 얼마나 달성할 수 있는가?
• RQ4 FDG는 매우 깊은(예: ResNet-1202) 및 매우 넓은(예: WRN-28-10) 네트워크에서 어떻게 성능을 내는가?
• RQ5 대규모 데이터셋(예: ImageNet)에서 통신 오버헤드가 가속에 미치는 영향은 무엇인가?

주요 결과

• 2개의 GPU를 사용할 경우 CIFAR-10에서 1.88×의 속도 향상을 달성했으며, 3개의 GPU를 사용할 경우 2.72×의 속도 향상을 기록하여 선형 스케일링에 가까워졌다.
• ResNet-101을 사용한 ImageNet에서 2개의 GPU로 1.68×의 속도 향상을 달성했으며, 고속 인터커넥트를 사용할 경우 더 큰 성과가 기대된다.
• 이 방법은 매우 넓은 네트워크(WRN-28-10)와 매우 깊은 네트워크(ResNet-1202)를 성공적으로 훈련시켰으며, 표준 역전파 대비 성능이 유사하거나 뛰어나다.
• 비동기 훈련으로 인한 대기 시간 감소 덕분에 FDG는 BU 기반 방법(예: DDG, FR)보다 높은 GPU 활용도를 기록했다.
• 기울기 수축 과정은 특히 더 깊은 네트워크에서 일반화 성능을 향상시켜 지연된 기울기의 악영향을 줄였다.
• 고속 인터커넥트가 없을 경우 대규모 데이터셋에서 통신 비용이 지배적이 되어 3개의 GPU를 초월한 속도 향상은 제한되었다.