[논문 리뷰] Exascale deep learning for climate analytics

Thorsten Kurth, Sean Treichler외 10명|arXiv (Cornell University)|2018. 11. 11.

Solar Radiation and Photovoltaics참고 문헌 26인용 수 67

한 줄 요약

이 논문은 Piz Daint와 Summit에서 Tiramisu 및 DeepLabv3+ 네트워크를 사용하여 기후 데이터 내 극단 기상 패턴을 탐지하기 위한 확장 가능한 딥러닝 프레임워크를 제시한다. 27,360개의 V100 GPU에서 FP16 텐서 코어를 활용하여 지속적 처리량 999.0 PF/s를 달성하며, 기후 분석 분야에서 거의 이상적인 병렬 효율성과 엑사스케일 성능을 입증한다.

ABSTRACT

We extract pixel-level masks of extreme weather patterns using variants of Tiramisu and DeepLabv3+ neural networks. We describe improvements to the software frameworks, input pipeline, and the network training algorithms necessary to efficiently scale deep learning on the Piz Daint and Summit systems. The Tiramisu network scales to 5300 P100 GPUs with a sustained throughput of 21.0 PF/s and parallel efficiency of 79.0%. DeepLabv3+ scales up to 27360 V100 GPUs with a sustained throughput of 325.8 PF/s and a parallel efficiency of 90.7% in single precision. By taking advantage of the FP16 Tensor Cores, a half-precision version of the DeepLabv3+ network achieves a peak and sustained throughput of 1.13 EF/s and 999.0 PF/s respectively.

연구 동기 및 목표

• 대규모 기후 데이터셋에서 극단 기상 패턴의 픽셀 수준 세그멘테이션을 가능하게 하기 위해.
• Piz Daint 및 Summit과 같은 엑사스케일 GPU 시스템을 위한 딥러닝 프레임워크와 학습 파이프라인 최적화를 위해.
• 기후 분석 워크로드에서 수만 개의 GPU에서 높은 병렬 효율성과 지속적인 처리량을 달성하기 위해.
• 기후 데이터용 딥러닝 모델의 추론 및 학습을 가속화하기 위해 FP16 텐서 코어를 활용하기 위해.

제안 방법

• 기후 데이터 내 극단 기상 패턴의 픽셀 수준 세그멘테이션을 위해 Tiramisu 및 DeepLabv3+ 신경망을 적응시켰다.
• GPU 클러스터에서 대규모 기후 데이터를 효율적으로 처리할 수 있도록 소프트웨어 프레임워크와 입력 파이프라인을 최적화했다.
• 최소한의 통신 오버헤드로 최대 27,360개의 V100 GPU에 걸쳐 분산 학습 알고리즘을 구현했다.
• 계산을 가속화하기 위해 FP16 텐서 코어를 활용하여 최고 처리량 1.13 EF/s와 지속적 처리량 999.0 PF/s를 달성했다.
• 싱글 정밀도에서 DeepLabv3+의 높은 병렬 효율성 90.7%와 믹스드 정밀도에서 Tiramisu의 79.0%를 확보했다.
• Tiramisu를 5,300개의 P100 GPU로 확장하여 지속적 처리량 21.0 PF/s와 79.0%의 병렬 효율성 달성.

실험 결과

연구 질문

• RQ1 Tiramisu 및 DeepLabv3+와 같은 딥러닝 모델이 기후 패턴 탐지에 있어 엑사스케일 GPU 시스템으로 효과적으로 확장될 수 있는가?
• RQ2 수만 개의 GPU에서 이러한 모델을 학습할 경우 도달할 수 있는 병렬 효율성과 처리량 수준은 무엇인가?
• RQ3 FP16 텐서 코어를 활용할 경우 기후 분석 워크로드에서 성능과 확장성에 어떤 영향을 미치는가?
• RQ4 대규모 GPU 클러스터에서 높은 처리량을 지속하기 위해 필요한 시스템 수준 최적화는 무엇인가?
• RQ5 제안된 파이프라인은 대규모 기후 데이터셋의 I/O 및 계산 요구사항을 충족시킬 수 있는가?

주요 결과

• Tiramisu는 5,300개의 P100 GPU로 확장되어 지속적 처리량 21.0 PF/s와 79.0%의 병렬 효율성 달성.
• DeepLabv3+는 27,360개의 V100 GPU에서 싱글 정밀도로 지속적 처리량 325.8 PF/s와 90.7%의 병렬 효율성 확보.
• FP16 최적화된 DeepLabv3+는 동일 하드웨어에서 최고 처리량 1.13 EF/s와 지속적 처리량 999.0 PF/s 달성.
• 근사적으로 이상적인 확장 효율성을 보이며, 효과적인 로드 밸런싱과 낮은 통신 오버헤드를 나타낸다.
• 최적화된 입력 파이프라인과 소프트웨어 스택 덕분에 엑사스케일 규모에서 효율적인 데이터 공급 및 모델 학습이 가능했다.
• 결과적으로 실시간 고해상도 기후 패턴 세그멘테이션을 위한 엑사스케일 딥러닝의 실현 가능성을 확인했다.