[논문 리뷰] Track Reconstruction in the ALICE TPC using GPUs for LHC Run 3

D. Røhr, S. Gorbunov외 2명|arXiv (Cornell University)|2018. 11. 28.

Advanced Data Storage Technologies인용 수 4

한 줄 요약

이 논문은 LHC 런 3에서 ALICE의 GPU 가속 TPC 트랙 재구성 알고리즘을 제시하며, 공유된 CPU/GPU 코드를 OpenCL 및 CUDA를 통해 사용하는 하이브리드 셀룰러 오토마타 및 칼만 필터 접근 방식을 활용한다. 이는 엄격한 50 kHz 연속 읽기 요구사항을 충족하면서 오프라인 수준의 해상도와 효율성을 달성하며, NVIDIA GTX 1080 GPU에서 23 ms 데이터 프레임당 약 20초의 처리 시간을 기록한다.

ABSTRACT

In LHC Run 3, ALICE will increase the data taking rate significantly to continuous readout of 50 kHz minimum bias Pb-Pb collisions. The reconstruction strategy of the online offline computing upgrade foresees a first synchronous online reconstruction stage during data taking enabling detector calibration, and a posterior calibrated asynchronous reconstruction stage. We present a tracking algorithm for the Time Projection Chamber (TPC), the main tracking detector of ALICE. The reconstruction must yield results comparable to current offline reconstruction and meet the time constraints like in the current High Level Trigger (HLT), processing 50 times as many collisions per second as today. It is derived from the current online tracking in the HLT, which is based on a Cellular automaton and the Kalman filter, and we integrate missing features from offline tracking for improved resolution. The continuous TPC readout and overlapping collisions pose new challenges: conversion to spatial coordinates and the application of time- and location dependent calibration must happen in between of track seeding and track fitting while the TPC occupancy increases five-fold. The huge data volume requires a data reduction factor of 20, which imposes additional requirements: the momentum range must be extended to identify low-pt looping tracks and a special refit in uncalibrated coordinates improves the track model entropy encoding. Our TPC track finding leverages the potential of hardware accelerators via the OpenCL and CUDA APIs in a shared source code for CPUs, GPUs, and both reconstruction stages. Porting more reconstruction steps like the remainder of the TPC reconstruction and tracking for other detectors will shift the computing balance from traditional processors to GPUs.

연구 동기 및 목표

• 런 2보다 5배 높은 50 kHz 연속 Pb–Pb 충돌 빈도에서 ALICE TPC의 트랙 재구성 문제를 해결한다.
• 온라인 처리 시간 제약 조건 내에서 오프라인 재구성 수준의 해상도와 효율성을 달성한다.
• 데이터 수집 중에 동기적으로 재구성을 수행함으로써 실시간 校정과 데이터 압축을 가능하게 한다.
• 연속 읽기 모드에서 주 원점 정보 부재 및 시간/위치에 따라 변하는 왜곡을 극복한다.
• 고급 트랙 병합 및 엔트로피 인코딩을 통해 20배의 압축 비율을 달성함으로써 데이터 볼륨을 최소화한다.

제안 방법

• OpenCL 및 CUDA를 사용하여 런 2의 하이-레벨 트리거(HLT) 트랙링 파이프라인—셀룰러 오토마타 시딩과 칼만 필터링 기반—을 GPU에서 실행 가능하게 한다.
• 주 원점 추정 후 TPC 히트를 원래 패드, 행, 시간 좌표에서 공간 (x, y, z) 좌표로 실시간으로 변환한다.
• 오프라인 트랙링 기능인 루프된 트랙 병합 및 중심 전극 통과 전파를 통합하여 해상도를 향상시킨다.
• 데이터 압축을 위한 트랙 모델 엔트로피 인코딩을 향상시키기 위해 校정되지 않은 좌표에서 재최적화를 구현한다.
• 동일한 재구성 코드를 CPU와 GPU에서 실행할 수 있도록 공유 소스 소프트웨어 스택을 설계하여 이식성과 성능 이식성을 확보한다.
• GPU 가속을 ITS 및 TRD 트랙링, 데이터 압축 단계로 확장할 계획이며, 호스트-GPU 데이터 전송을 최소화한다.

실험 결과

연구 질문

• RQ1 ALICE TPC에서 50 kHz 연속 데이터 레이트에서 오프라인 수준의 해상도와 효율성을 달성할 수 있는 트랙 재구성 방법는 무엇인가?
• RQ2 주 원점 할당 없이 연속 읽기 모드를 지원하기 위해 기존 HLT 트랙링 파이프라인에 어떤 수정이 필요한가?
• RQ3 실시간 校정과 함께 실시간 좌표 변환을 성능 저하 없이 트랙링 파이프라인에 통합할 수 있는가?
• RQ4 후속 분석을 위한 물리적 민감도를 가진 트랙 정보를 유지하면서 달성 가능한 데이터 압축 비율은 얼마인가?
• RQ5 GPU 가속을 O2 컴퓨팅 프레임워크의 전체 재구성 체인으로 확장할 수 있는 범위는 어느 정도인가?

주요 결과

• GPU 최적화된 TPC 트랙링 알고리즘은 오프라인 수준의 해상도와 효율성을 달성하며, 트랙 검출 성능이 현재 오프라인 재구성과 동일하거나 이를 초월한다.
• 벤치마크 결과, 단일 NVIDIA GTX 1080 GPU에서 23 ms 데이터 프레임당 약 20초의 처리 시간을 기록하여 실시간 처리 요구사항을 충족한다.
• 시딩 이후에 좌표 변환을 연기함으로써 절대 z좌표 부재 및 시간/위치에 따라 변하는 왜곡 문제를 성공적으로 처리한다.
• 고급 트랙 병합 및 엔트로피 인코딩을 통해 20배의 데이터 압축 비율을 달성하여 증가하는 데이터 볼륨을 관리하는 데 핵심적이다.
• 공유된 CPU/GPU 코드베이스는 이질적 하드웨어 간의 원활한 배포를 가능하게 하며, 향후 ITS, TRD 및 데이터 압축 단계로 GPU 가속을 확장할 계획이다.
• 전체 TPC 트랙링을 위한 GPU 용량은 약 1000장이 필요하며, O2 컴퓨팅 팜에 1500대의 GPU 장착 서버를 계획 중이며, 추가 작업에 대한 충분한 여유가 확보되어 있다.