[논문 리뷰] Distributed Deep Learning in Open Collaborations

M.G. Diskin, Alexey Bukhtiyarov외 14명|arXiv (Cornell University)|2021. 06. 18.

Scientific Computing and Data Management참고 문헌 116인용 수 4

한 줄 요약

이 논문은 이질적이고 신뢰성 없는 하드웨어를 사용하는 개방형, 자원봉사 기반 협업 환경에서 분산 딥러닝을 위한 새로운 알고리즘 프레임워크인 DeDLOC을 제안한다. 다양한 컴퓨팅 및 네트워크 조건에 동적으로 적응함으로써 DeDLOC은 기존 설정과 비교할 만한 효율적인 학습을 가능하게 하며, 14명의 자원봉사자가 하이브리드 GPU 및 TPU 자원을 사용해 22일 만에 대규모 언어 모델(sahajBERT-XL)을 성공적으로 사전학습시켰다. 이는 비용의 일부에 불과한 비용으로 달성된 결과이다.

ABSTRACT

Modern deep learning applications require increasingly more compute to train state-of-the-art models. To address this demand, large corporations and institutions use dedicated High-Performance Computing clusters, whose construction and maintenance are both environmentally costly and well beyond the budget of most organizations. As a result, some research directions become the exclusive domain of a few large industrial and even fewer academic actors. To alleviate this disparity, smaller groups may pool their computational resources and run collaborative experiments that benefit all participants. This paradigm, known as grid- or volunteer computing, has seen successful applications in numerous scientific areas. However, using this approach for machine learning is difficult due to high latency, asymmetric bandwidth, and several challenges unique to volunteer computing. In this work, we carefully analyze these constraints and propose a novel algorithmic framework designed specifically for collaborative training. We demonstrate the effectiveness of our approach for SwAV and ALBERT pretraining in realistic conditions and achieve performance comparable to traditional setups at a fraction of the cost. Finally, we provide a detailed report of successful collaborative language model pretraining with 40 participants.

연구 동기 및 목표

• 최첨단 딥러닝 모델을 학습하는 데 드는 증가하는 계산 비용으로 인해, 이는 오직 대규모 기관과 기업들만이 접근 가능한 상황이 되고 있다.
• 일반적으로 표준 분산 학습 방법에 적합하지 않은, 변동하는 대역폭, 지연, 신뢰성 없는 연결성 등의 문제를 해결하고자 한다.
• 전용 인프라가 필요 없이, 활용도가 낮은 이질적 장치(예: 소비자용 GPU, TPU, 워크스테이션)를 사용해 대규모 모델의 협업 및 분산 학습을 가능하게 하고자 한다.
• 기존에 존재하는 유휴 계산 자원을 최대한 활용해 대규모 모델 학습의 환경적 및 재정적 비용을 줄이고자 한다.
• 실제 운영을 통해 개방형, 공동체 기반의 대규모 언어 모델 사전학습의 가능성과 효율성을 입증하고자 한다.

제안 방법

• DeDLOC는 실시간 하드웨어 및 네트워크 조건에 따라 동적으로 학습 전략을 조정하며, 파라미터 서버, All-Reduce, 분산 SGD의 요소를 융합한다.
• 장치의 능력과 네트워크 지연에 따라 최적의 동기화 패턴(예: All-Reduce, 파라미터 서버, 또는 중간 단계)을 선택하는 하이브리드 통신 전략을 사용한다.
• 계산기기의 이질성(예: GPU에서는 float16, TPU에서는 bfloat16)을 고려해 정밀도 형식을 일치시켜 발산을 방지함으로써 혼합 정밀도 학습을 지원한다.
• 참가자들이 동적으로 참여하거나 이탈하는 환경을 고려해 탈중앙화된, 장애 내성 학습 파이프라인을 구현한다. 연결 끊김에 대해서도 자동 복구 기능을 제공한다.
• 모델 체크포인트 및 기울기 집계 기법을 활용해 변동성이 큰 환경에서도 학습 안정성과 처리량을 유지한다.
• 경량적이고 모듈러한 아키텍처를 설계해 기존 딥러닝 프레임워크(Hugging Face Transformers 등)와의 통합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 이질적이고 신뢰성 없는 하드웨어를 사용하는 개방형, 자원봉사 기반 협업 환경에서 분산 딥러닝을 효과적으로 확장할 수 있는가?
• RQ2 변동하는 대역폭, 높은 지연, 빈번한 참가자 이탈이 발생하는 환경에서도 학습 효율성을 유지할 수 있는가?
• RQ3 혼합 정밀도 및 혼합 아키텍처 하드웨어(GPU 및 TPU 포함)에 동적으로 적응할 수 있는 알고리즘 전략은 무엇인가, 수렴성과 성능을 보장할 수 있는가?
• RQ4 협업 학습은 대규모 언어 모델 사전학습의 비용과 환경적 영향을 어느 정도 줄일 수 있는가?
• RQ5 중앙 집중식 인프라 없이도 독립적인 기여자들이 공동으로 대규모 언어 모델(sahajBERT-XL 등)을 성공적으로 학습시킬 수 있는가?

주요 결과

• DeDLOC 프레임워크는 14명의 자원봉사자와 함께 22일 만에 sahajBERT-XL을 성공적으로 학습시켰으며, 최종 성능은 기준 모델 및 원본 sahajBERT를 모두 초월했다.
• 협업 학습 환경은 고성능 GPU 클러스터와 비교해 유사한 성능을 달성했지만, 비용은 크게 감소했고 하드웨어 활용도도 훨씬 높았다.
• GPU에서는 float16, TPU에서는 bfloat16를 지원하는 데서 발생하는 차이에도 불구하고, TPU에서는 float32로 계산을 일치시키고 GPU에서는 float16을 유지함으로써 학습 발산을 방지했다.
• TPUv3-8 인스턴스는 단일 GPU 노드보다 뛰어난 성능을 보였으며, 이는 프레임워크 내에서 이종 가속기의 효율적 활용이 가능함을 입증한다.
• 참가자 수의 변동성과 다양한 네트워크 조건에도 불구하고 안정적인 학습 처리량과 수렴성을 유지했다.
• 기존에 존재하는 유휴 하드웨어를 활용하고 대규모 냉각 및 에너지 집약적인 데이터센터의 필요성을 최소화함으로써 환경 영향을 줄였다.