[논문 리뷰] Studying the potential of Graphcore IPUs for applications in Particle Physics

L. R. Madhan Mohan, A. M. Marshall외 6명|arXiv (Cornell University)|2020. 08. 20.

Particle physics theoretical and experimental studies참고 문헌 40인용 수 11

한 줄 요약

이 연구는 입자물리학 작업 부하를 위한 Graphcore의 지능 처리 장치(IPU)를 평가하며, IPU가 핵심 기계학습 및 추적 응용 분야에서 GPU와 CPU를 능가함을 입증한다. MIMD 병렬 처리를 통해 IPU는 소형 배치 모델의 추론과 학습에서 최대 5배 빠른 성능을 달성했으며, 제한된 메모리 용량이 있는 1세대 IPU임에도 불구하고 칼만 필터링과 같은 조건부 제어 흐름 작업에서 뛰어난 성능을 보였다.

ABSTRACT

This paper presents the first study of Graphcore's Intelligence Processing Unit (IPU) in the context of particle physics applications. The IPU is a new type of processor optimised for machine learning. Comparisons are made for neural-network-based event simulation, multiple-scattering correction, and flavour tagging, implemented on IPUs, GPUs and CPUs, using a variety of neural network architectures and hyperparameters. Additionally, a Kálmán filter for track reconstruction is implemented on IPUs and GPUs. The results indicate that IPUs hold considerable promise in addressing the rapidly increasing compute needs in particle physics.

연구 동기 및 목표

• 입자물리학의 기계학습 및 물리학 전용 작업 부하에 대해 Graphcore IPU의 성능을 평가하는 것.
• 이벤트 시뮬레이션, 풍미 태깅, 트랙 재구성에 대한 신경망 추론 및 학습에서 IPU의 성능을 GPU 및 CPU와 비교하는 것.
• 입자물리학에서 흔한 비정규적이고 희박하며 조건부 작업 부하(예: 히트 거부를 수반한 칼만 필터링)에 대해 IPU의 적합성을 조사하는 것.
• TensorFlow 및 PyTorch와 같은 고수준 프레임워크를 사용하여 고에너지 물리학 응용 분야에서 IPU 프로그래밍의 용이성을 평가하는 것.
• IPU의 MIMD 아키텍처가 실제 물리학 작업 부하에서 전통적인 SIMD GPU에 비해 우월한 성능을 제공하는지 여부를 확인하는 것.

제안 방법

• TensorFlow 및 PyTorch를 사용하여 IPU, GPU, CPU에서 이벤트 생성 및 풍미 태깅을 위한 다수의 신경망 아키텍처(전결합, 합성곱, 국소 연결 GAN)를 구현하고 벤치마킹하였다.
• Graphcore의 Poplar SDK를 활용해 IPU에 칼만 필터를 구현하여 히트 관측 기반의 조건부 상태 갱신을 가능하게 하였으며, GPU 기반의 유사한 TensorFlow 구현과 비교하였다.
• 다양한 배치 크기에서 처리량과 지연 시간을 측정하여 성능 스케일링 및 메모리 효율성을 평가하였다.
• IPU 및 GPU에서 히트 거부 논리가 포함된 경우와 없는 경우의 처리량을 비교하여 조건부 실행이 성능에 미치는 영향을 탐구하였다.
• 1세대 Graphcore Colossus MK1 GC2 IPU에 클라우드 접근을 통해 실험하였으며, 고성능 GPU 및 두 대의 고성능 CPU와 결과를 비교하였다.
• 이식 시간과 개발 노력에 대해 평가하였으며, IPU 경험이 없는 팀이 6개월 이내에 기능적인 구현을 달성했다.

실험 결과

연구 질문

• RQ1 IPU의 성능는 입자물리학 관련 신경망의 학습 및 추론에서 GPU 및 CPU와 비교해 어떻게 되는가?
• RQ2 IPU의 MIMD 아키텍처는 비정규적 데이터 액세스와 조건부 제어 흐름이 포함된 작업 부하에서 GPU의 SIMD에 비해 성능 우월성을 제공하는가?
• RQ3 GAN 기반 이벤트 생성 및 풍미 태깅과 같은 대규모 입자물리학 작업 부하를 IPU가 경쟁력 있는 처리량으로 처리할 수 있는가?
• RQ4 배치 크기가 IPU와 GPU 간 성능 차이에 어떻게 영향을 미치는가, 특히 IPU의 더 작은 메모리 용량을 감안할 때?
• RQ5 TensorFlow 및 PyTorch와 같은 고수준 프레임워크를 통해 IPU는 얼마나 프로그래밍이 용이한가, 그리고 물리학 연구자들이 얼마나 빨리 이를 도입할 수 있는가?

주요 결과

• 소형 배치 작업(≤100)에서는 IPU가 GPU를 4–5배 빠르게 처리하며, 특히 조건부 제어 흐름 상황에서 두드러진 성능을 보였다.
• GAN 기반 이벤트 생성에 있어서도 IPU는 더 작은 배치 크기임에도 불구하고 희박하고 비정규적인 연산을 효율적으로 처리해 학습 및 추론 속도가 빠르게 나타났다.
• 칼만 필터 구현에서는 조건부 실행 상황에서도 IPU는 높은 처리량을 유지했으나, GPU는 워프 분산으로 인해 성능이 50% 이상 떨어졌다.
• GPU보다 메모리 용량이 작음에도 불구하고, IPU는 더 나은 메모리 액세스 패턴과 스레드 수준 병렬 처리 덕분에 합성곱 및 국소 연결 GAN에서 GPU를 능가하는 성능을 보였다.
• IPU의 MIMD 아키텍처는 독립적인 스레드 경로를 효율적으로 실행해 GPU의 SIMD 실행 대비 조건부 논리로 인한 성능 저하를 줄였다.
• IPU 경험이 없는 팀이 6개월 이내에 기능적인 구현을 달성했으며, 이는 고수준 프레임워크를 사용하는 입자물리학 연구자들에게 낮은 진입 장벽을 의미한다.