[논문 리뷰] Is Network the Bottleneck of Distributed Training?

Zhen Zhang, Chaokun Chang외 4명|arXiv (Cornell University)|2020. 06. 17.

Ferroelectric and Negative Capacitance Devices참고 문헌 23인용 수 5

한 줄 요약

이 논문은 네트워크 대역폭이 분산 딥러닝 훈련의 확장성에 영향을 미치는지 여부를 조사하며, AWS에서 실제 환경에서의 성능을 측정한다. 일반적인 믿음과는 달리, 네트워크가 저용량으로 사용되고 있음을 발견했다(100 Gbps 링크에서 약 ~32 Gbps 사용). 또한 네트워크 활용도를 근접하게 100%로 끌어올리면 기울기 압축 없이도 거의 선형적인 확장성이 가능함을 확인했으며, 이는 네트워크 전송 최적화가 응용 수준 기법(예: 압축)보다 더 중요하다는 것을 시사한다.

ABSTRACT

Recently there has been a surge of research on improving the communication efficiency of distributed training. However, little work has been done to systematically understand whether the network is the bottleneck and to what extent. In this paper, we take a first-principles approach to measure and analyze the network performance of distributed training. As expected, our measurement confirms that communication is the component that blocks distributed training from linear scale-out. However, contrary to the common belief, we find that the network is running at low utilization and that if the network can be fully utilized, distributed training can achieve a scaling factor of close to one. Moreover, while many recent proposals on gradient compression advocate over 100x compression ratio, we show that under full network utilization, there is no need for gradient compression in 100 Gbps network. On the other hand, a lower speed network like 10 Gbps requires only 2x--5x gradients compression ratio to achieve almost linear scale-out. Compared to application-level techniques like gradient compression, network-level optimizations do not require changes to applications and do not hurt the performance of trained models. As such, we advocate that the real challenge of distributed training is for the network community to develop high-performance network transport to fully utilize the network capacity and achieve linear scale-out.

연구 동기 및 목표

• 분산 딥러닝 훈련에서 네트워크 대역폭이 진정한 병목 현상인지 체계적으로 평가하기 위해.
• 실제 클라우드 환경에서 고속 네트워크(예: 100 Gbps)에서 분산 훈련 중 실제 네트워크 활용도를 측정하기 위해.
• 네트워크 전송 효율성이 확장 인자와 수렴 시간에 미치는 영향을 평가하기 위해.
• 네트워크 수준 최적화와 기술적 기법(예: 기울기 압축)의 효과를 비교하기 위해.
• 분산 훈련에서 선형 확장 외출을 달성하기 위해 고성능 네트워크 전송을 우선시해야 한다고 주장하기 위해.

제안 방법

• ResNet50, ResNet101, VGG16를 사용하여 데이터 병렬 처리와 all-reduce 통신 방식을 적용한 AWS에서의 분산 훈련 처리량에 대한 종단 간 측정을 수행하였다.
• 통신 단계 동안 실제 네트워크 활용도를 측정하였으며, 100 Gbps 링크에서 약 ~32 Gbps만 사용된 것으로 관찰되었다.
• 로그에서 실제 계산 및 통신 시간을 유지하면서, 전체 네트워크 활용도(100%)를 시뮬레이션한 '만일의 분석'을 수행하였다.
• 다양한 네트워크 속도(10 Gbps 및 100 Gbps)에서 기울기 압축 비율을 2×에서 100×로 시뮬레이션하여 압축의 영향을 평가하였다.
• 레이어 단위 시간 로그를 사용하여 계산과 통신 간의 겹침을 모델링하여 확장 행동을 정확하게 시뮬레이션할 수 있도록 하였다.
• 기울기 압축과 같은 응용 수준 최적화와 비교하여 네트워크 수준 최적화의 효과를 평가하였으며, 투명성과 정확도 유지의 중요성을 강조하였다.

실험 결과

연구 질문

• RQ1 분산 훈련에서 네트워크 대역폭이 주요 병목 현상인지, 아니면 네트워크 전송 비효율성인가?
• RQ2 현대 고대역폭 클러스터에서 낮은 네트워크 활용도는 얼마나 확장성에 제한을 미치는가?
• RQ3 10 Gbps 대비 100 Gbps 네트워크에서 거의 선형적인 확장을 달성하기 위해 필요한 기울기 압축 비율은 얼마인가?
• RQ4 전체 네트워크 활용도는 분산 훈련에서 확장 인자와 수렴 시간에 어떻게 영향을 미치는가?
• RQ5 네트워크 수준 최적화가 기울기 압축과 같은 응용 수준 최적화보다 더 효과적이고 안전한가?

주요 결과

• 분산 훈련 중 네트워크 활용도는 낮다—100 Gbps 링크에서 약 ~32 Gbps만 사용된다—다만 가용 대역폭은 높다.
• 전체 네트워크 활용도를 확보하면 분산 훈련의 확장 인자가 99% 이상에 도달하여 거의 선형적인 확장성을 보인다.
• 100 Gbps 네트워크에서는 기울기 압축이 필요 없이도 거의 선형적인 확장성을 달성할 수 있으며, 네트워크가 이미 전체 활용도를 지원할 수 있기 때문이다.
• 10 Gbps 네트워크에서는 기울기 압축 비율을 2×에서 5×로 설정하면 거의 선형적인 확장성이 달성되지만, 이는 네트워크가 병목이기 때문이다.
• 고속 네트워크에서는 응용 수준 기울기 압축이 거의 유의미한 이점을 제공하지 않으며, 모델 정확도를 손상시킬 위험이 있다. 반면 네트워크 수준 최적화는 투명하고 모델 품질을 유지한다.
• 이 연구는 진정한 병목 현상이 네트워크 대역폭이 아니라 비효율적인 네트워크 전송이며, CPU나 GPU 계산 능력이 아닌 것을 확인했다.