[논문 리뷰] Deep Learning at 15PF: Supervised and Semi-Supervised Classification for Scientific Data

Thorsten Kurth, Jian Zhang외 13명|arXiv (Cornell University)|2017. 08. 17.

Algorithms and Data Compression참고 문헌 38인용 수 19

한 줄 요약

이 논문은 과학적 데이터를 위한 최초의 15-PetaFLOP 딥러닝 시스템을 제시하며, 인텔 Xeon-Phi 기반 HPC 클러스터에서 하이브리드 동기-비동기 통신 전략을 사용하여 9,600개 노드에 걸쳐 학습을 확장한다. 이 시스템은 1,000만 장의 고에너지 물리학 데이터셋에서 최신 기술 수준의 분류 정확도를 달성했으며, 반감독 학습을 통해 15TB 크기의 기후 데이터셋에서 극단적인 기상 패턴을 성공적으로 국지화하였다.

ABSTRACT

This paper presents the first, 15-PetaFLOP Deep Learning system for solving scientific pattern classification problems on contemporary HPC architectures. We develop supervised convolutional architectures for discriminating signals in high-energy physics data as well as semi-supervised architectures for localizing and classifying extreme weather in climate data. Our Intelcaffe-based implementation obtains $\sim$2TFLOP/s on a single Cori Phase-II Xeon-Phi node. We use a hybrid strategy employing synchronous node-groups, while using asynchronous communication across groups. We use this strategy to scale training of a single model to $\sim$9600 Xeon-Phi nodes; obtaining peak performance of 11.73-15.07 PFLOP/s and sustained performance of 11.41-13.27 PFLOP/s. At scale, our HEP architecture produces state-of-the-art classification accuracy on a dataset with 10M images, exceeding that achieved by selections on high-level physics-motivated features. Our semi-supervised architecture successfully extracts weather patterns in a 15TB climate dataset. Our results demonstrate that Deep Learning can be optimized and scaled effectively on many-core, HPC systems.

연구 동기 및 목표

• 다수의 코어를 가진 HPC 시스템에서 과학적 패턴 분류를 위한 확장 가능한 딥러닝을 가능하게 하기 위해.
• 단일 노드 학습 용량을 초월하는 대규모 다변량 과학적 데이터셋(테라바이트에서 테라바이트 이상)에서 딥뉴럴넷을 훈련하는 데 도전하는 문제를 해결하기 위해.
• 고에너지 물리학 및 기후 과학 워크로드에 맞게 최적화된 감독 및 반감독 딥러닝 아키텍처를 개발하고 최적화하기 위해.
• 노드 그룹 간 하이브리드 통신 전략을 사용하여 HPC 플랫폼에서 높은 성능과 강력한 확장성을 달성하기 위해.
• 딥러닝이 현대 다수의 코어 HPC 시스템에서 도메인 과학 응용 분야에 효과적으로 최적화되고 확장될 수 있음을 입증하기 위해.

제안 방법

• Xeon-Phi 아키텍처에 최적화된 커스터마이징된 IntelCaffe 기반 딥러닝 프레임워크를 구현하여 노드당 약 2 TFLOP/s의 성능를 달성하였다.
• 하이브리드 통신 전략을 적용: 노드 그룹 내에서는 동기 통신, 그룹 간에는 비동기 통신을 사용하여 정지 시간을 줄이고 확장성을 향상시켰다.
• 감독 학습을 위한 컨볼루션 신경망(CNN) 아키텍처를 사용하여 3채널(칼로리메터 및 트랙 데이터)의 2차원 검출기 이미지를 기반으로 고에너지 물리학 이벤트를 분류하였다.
• 반감독 학습 아키텍처를 적용하여 15TB 크기의 기후 데이터셋에서 극단적인 기상 패턴을 추출하고 국지화하였으며, 비라벨 데이터를 활용해 정밀도를 향상시켰다.
• 고에너지 물리학 데이터를 물리학적 동기를 가진 선택 기준을 사용해 사전 처리하여 시뮬레이션된 LHC 충돌에서 어려운 1,000만 이벤트 훈련 세트를 생성하였다.
• 고에너지 물리학의 신호 및 배경 클래스 모두에 대해 현실적인 이벤트 데이터를 생성하기 위해 빠른 시뮬레이션 도구(Pythia 및 Delphes)를 사용하였다.

실험 결과

연구 질문

• RQ1 과학적 데이터 분류를 위한 HPC 시스템에서 15-PetaFLOP 성능으로 딥러닝을 효과적으로 확장할 수 있는가?
• RQ2 하이브리드 동기-비동기 통신 전략은 대규모 딥러닝 훈련에서 확장성과 성능을 어떻게 향상시킬 수 있는가?
• RQ3 딥러닝 아키텍처가 고에너지 물리학 이벤트 분류에서 전통적인 물리학적 동기를 가진 특징 선택 기법을 능가할 수 있는가?
• RQ4 반감독 학습이 대규모 기후 시뮬레이션 데이터셋에서 극단적인 기상 패턴을 효과적으로 식별할 수 있는가?
• RQ5 다수의 코어 HPC 플랫폼에서 과학 워크로드를 위한 딥러닝의 성능와 정확도 간 상호 보완적 특성은 무엇인가?

주요 결과

• 9,600개의 Xeon-Phi 노드에서 훈련할 경우 시스템은 피크 성능 15.07 PFLOP/s, 지속 성능 13.27 PFLOP/s를 기록하여 15-PetaFLOP 수준의 효과적 확장을 입증하였다.
• 감독 학습 기반의 HEP 모델은 1,000만 장의 이미지 데이터셋에서 최신 기술 수준의 분류 정확도를 달성하였으며, 고수준의 물리학적 동기를 가진 특징 기반 성능를 뛰어넘었다.
• 반감독 학습 기반의 기후 모델은 15TB 크기의 기후 데이터셋에서 극단적인 기상 패턴을 성공적으로 추출하고 국지화하였으며, 대규모 과학적 분석에 실용성을 입증하였다.
• IntelCaffe 기반 구현은 단일 Cori Phase-II Xeon-Phi 노드당 약 2 TFLOP/s의 성능를 기록하여 효율적인 단일 노드 성능를 확보하였다.
• 하이브리드 통신 전략을 통해 9,600개 노드에서 강력한 확장성을 달성하였으며, 지속 성능는 11.41–13.27 PFLOP/s에 이르렀다. 이는 대규모 훈련에 대한 이 접근 방식의 효과성을 보여주었다.
• 결과적으로 다수의 코어 HPC 플랫폼이 도메인 과학 응용 분야에서 딥러닝에 효과적으로 활용될 수 있음을 입증하였으며, 과학적 발견을 위한 새로운 길을 열었다.