[논문 리뷰] Enabling Fast and Flexible Distributed Deep Learning with Programmable Switches

Heng Pan, Penglai Cui외 12명|arXiv (Cornell University)|2022. 05. 11.

Brain Tumor Detection and Classification인용 수 7

한 줄 요약

이 논문은 분산 희소 딥 러닝 학습을 가속화하기 위해 프로그래머블 스위치 기반 시스템인 Libra를 제안한다. 이는 자주 업데이트되는('핫') 파라미터의 그래디언트 집계를 인텔 토피노 스위치로 오프로드함으로써 이루어진다. 샘플링 기반의 핫 파라미터 식별, 열기반 파라미터 배치, 실시간 부동소수점 합산을 위한 테이블 룩업 메커니즘을 활용하여 Libra는 기존의 파라미터 서버 학습 대비 1.5×에서 4×의 성능 향상을 달성한다.

ABSTRACT

Deep learning has been used in a wide range of areas and made a huge breakthrough. With the ever-increasing model size and train-ing data volume, distributed deep learning emerges which utilizes a cluster to train a model in parallel. Unfortunately, the performance is often far from linear speedup due to the communication overhead between cluster nodes. To address this challenge, this paper designs and implements Libra, a network aggregator, that utilizes in-network computation to optimize the communication for distributed DL training in two aspects: 1) reduce active connections and 2) aggregate exchanged network packets. We implemented our Libra on Intel Tofino switches, customized a lightweight host stack and integrated it into an open-source training framework PS-lite. The experimental result shows that our Libra can achieve 1.5~4 times speedup.

연구 동기 및 목표

• 분산 희소 딥 러닝 학습에서 집약적이고 급격한 통신으로 인해 확장성이 제한되는 통신 병목 현상을 해결하기 위해.
• 산업용 희소 딥 러닝 모델에서 파라미터의 업데이트 빈도가 극도로 비균형적임을 고려하여, 소수의 파라미터가 빈번히 업데이트됨을 활용하기 위해.
• 이러한 '핫' 파라미터의 그래디언트 집계를 프로그래머블 스위치로 오프로드하여 파라미터 서버의 부담을 줄이고 학습 처리량을 향상시키는 시스템을 설계하기 위해.
• 레지스터 쓰기 충돌 및 네이티브 부동소수점 지원 부족과 같은 프로그래머블 스위치의 하드웨어 및 프로토콜 제약을 극복하기 위해 새로운 시스템 수준 최적화를 설계하기 위해.
• 실제 대규모 배포 환경에서 스위치 장애나 패킷 손실 발생 시에도 학습의 연속성을 유지하기 위해 패킷 손실 복구 및 스위치 장애 복구 메커니즘을 통해 신뢰성을 확보하기 위해.

제안 방법

• 전체 데이터셋의 4–8%로 학습함으로써 핫 파라미터를 식별하는 샘플링 기반 메커니즘을 제안하여, 전체 프로파일링 없이도 효율적인 핫 파라미터 탐지가 가능하도록 한다.
• 그래디언트 집계 중 레지스터 충돌을 최소화하기 위해 스위치에 열기반 파라미터 배치 전략을 설계하여 파ip라인 효율성을 향상시킨다.
• 워커에서 파라미터 레이아웃 인식 기반 그래디언트 패ckaging 기법을 도입하여, 한 파이프라인 스테이지에서 동일한 레지스터에 다중 쓰기의 가능성을 줄인다.
• 스위치의 제한된 네이티브 부동소수점 지원에도 불구하고 실시간 32비트 부동소수점 합산을 가능하게 하는 테이블 룩업 기반 메커니즘을 개발하여 네트워크 내 그래디언트 집계를 지원한다.
• 이중 경로 통신 모델을 구현하여 핫 파라미터는 스위치에서 집계되고, 콜드 파라미터는 여전히 파라미터 서버에서 처리되도록 하여 정확성과 확장성을 확보한다.
• 패킷 손실 복구 및 스위치 장애 복구 메커니즘을 통해 시스템 신뢰성을 향상시켜 스위치 장애 발생 시에도 학습이 중단되지 않도록 한다.

실험 결과

연구 질문

• RQ1 희소 딥 러닝 모델에 대해 네트워크 내 그래디언트 집계가 기존의 파라미터 서버 아키텍처에 비해 상당한 성능 향상을 이룰 수 있는가?
• RQ2 전체 학습 오버헤드 없이도 희소 딥 러닝 워크로드에서 핫 파라미터를 효율적으로 식별할 수 있는가?
• RQ3 스위치의 하드웨어 제약을 감안할 때 효율적이고 정확한 그래디언트 집계를 수행하기 위해 필요한 시스템 수준 최적화는 무엇인가?
• RQ4 핫 파라미터에 대한 스위치 기반 집계와 콜드 파라미터에 대한 서버 기반 집계의 조합이 정확성을 유지하면서 성능 향상을 이룰 수 있는가?
• RQ5 Libra는 실세계 네트워크 조건, 예를 들어 패킷 손실이나 스위치 장애 발생 시 신뢰성을 어떻게 확보하는가?

주요 결과

• Libra는 기준 파라미터 서버 구현 대비 분산 희소 딥 러닝 학습에서 1.5×에서 4×의 성능 향상을 달성한다.
• 샘플링 기반 핫 파라미터 식별 메커니즘은 약 50%의 모든 업데이트를 차지하는 상위 30,000개의 가장 자주 업데이트되는 파라미터를 정확하게 탐지한다.
• 열기반 파라미터 배치 및 레이아웃 인식 패키징은 레지스터 쓰기 충돌을 70% 이상 감소시켜 스위치 파이프라인 효율성을 향상시킨다.
• 테이블 룩업 메커니즘은 최소한의 성능 오버헤드로 스위치에서 실시간 32비트 부동소수점 합산을 가능하게 하여 정확한 그래디언트 집계를 지원한다.
• 패킷 손실 복구 및 스위치 장애 복구 기능을 통해 높은 신뢰성을 확보하여 학습이 중단되지 않도록 한다.
• Libra는 PS-lite와 통합되어 인텔 토피노 스위치에 배포되었으며, 엔드 투 엔드 호환성과 실세계 적용 가능성 모두를 입증했다.