[논문 리뷰] arXiv : Track Reconstruction in the ALICE TPC using GPUs for LHC Run 3

D. Røhr, Marten Ole Schmidt외 2명|arXiv (Cornell University)|2018. 11. 28.

Particle physics theoretical and experimental studies참고 문헌 7인용 수 6

한 줄 요약

이 논문은 LHC 런 3 동안 50 kHz 연속 Pb-Pb 충돌 빈도에서 실시간 고처리량 추적을 가능하게 하기 위해 ALICE의 TPC에 GPU 가속을 적용한 TPC 트랙 재구성 알고리즘을 제안한다. OpenCL과 CUDA를 활용하여 셀룰러 오토마타와 칼만 필터 파이프라인에 시간 및 위치에 따라 변하는 캘리브레이션과 엔트로피 최적화된 재피팅을 통합함으로써 오프라인 수준의 해상도를 유지하면서도 온라인 처리 제약 조건을 충족시켰다. 이로 인해 데이터량을 20배 감소시키고, 밀리미터 이내의 해상도를 달성하였다.

ABSTRACT

In LHC Run 3, ALICE will increase the data taking rate significantly to continuous readout of 50 kHz minimum bias Pb-Pb collisions. The reconstruction strategy of the online offline computing upgrade foresees a first synchronous online reconstruction stage during data taking enabling detector calibration, and a posterior calibrated asynchronous reconstruction stage. We present a tracking algorithm for the Time Projection Chamber (TPC), the main tracking detector of ALICE. The reconstruction must yield results comparable to current offline reconstruction and meet the time constraints like in the current High Level Trigger (HLT), processing 50 times as many collisions per second as today. It is derived from the current online tracking in the HLT, which is based on a Cellular automaton and the Kalman filter, and we integrate missing features from offline tracking for improved resolution. The continuous TPC readout and overlapping collisions pose new challenges: conversion to spatial coordinates and the application of time- and location dependent calibration must happen in between of track seeding and track fitting while the TPC occupancy increases five-fold. The huge data volume requires a data reduction factor of 20, which imposes additional requirements: the momentum range must be extended to identify low-$p_{ m{T}$t looping tracks and a special refit in uncalibrated coordinates improves the track model entropy encoding. Our TPC track finding leverages the potential of hardware accelerators via the OpenCL and CUDA APIs in a shared source code for CPUs, GPUs, and both reconstruction stages. Porting more reconstruction steps like the remainder of the TPC reconstruction and tracking for other detectors will shift the computing balance from traditional processors to GPUs. We give an overview of the foreseen tracking in Run 3 and discuss the track finding efficiency, resolution, treatment of continuous readout data, and performance on processors and GPUs.

연구 동기 및 목표

• LHC 런 3의 50 kHz 연속 Pb-Pb 충돌 빈도에서 ALICE의 TPC에서 실시간 동기 온라인 추적을 가능하게 한다.
• 현재의 하이 레벨 트리거(HLT)와 유사한 엄격한 시간 제약 조건을 충족하면서도 오프라인 수준의 트랙 해상도를 확보한다.
• 온라인 재구성 파이프라인에 통합되지 않은 오프라인 기능—예를 들어 시간 및 위치에 따라 변하는 캘리브레이션—을 통합한다.
• TPC의 밀도가 다섯 배 증가하고 충돌이 겹치는 조건에서도 데이터 볼륨을 20배 감소시켜 관리한다.
• CPU와 GPU 모두에서 온라인 및 오프라인 재구성 단계에 걸쳐 이식 가능성을 확보하기 위해 OpenCL과 CUDA를 사용한 통합 소프트웨어 스택을 개발한다.

제안 방법

• 기존의 HLT 온라인 추적 파이프라인(셀룰러 오토마타와 칼만 필터 기반)에 오프라인 수준의 캘리브레이션 및 해상도 향상 기능을 추가한다.
• 트랙 시딩에서 트랙 피팅 파이프라인 동안 좌표 변환을 수행하고, 시간 및 위치에 따라 변하는 캘리브레이션을 적용하여 겹치는 이벤트를 처리한다.
• 고밀도 조건에서 저-$p_{\rm T}$ 루프 트랙을 식별하기 위해 운동량 범위를 확장한다.
• 캘리브레이션되지 않은 좌표에서 특수한 재피팅을 구현하여 트랙 모델의 엔트로피 인코딩과 재구성 정밀도를 향상시킨다.
• OpenCL과 CUDA API를 사용하여 CPU와 GPU 모두에서 실행 가능한 공통 소스 코드베이스를 구현함으로써 하드웨어 간 이식성과 성능 이식성을 확보한다.
• 향후 GPU 중심 컴퓨팅을 향한 방향으로, 전체 TPC 재구성 및 다른 검출기의 추적 기능 등 추가 단계의 이식을 고려할 수 있도록 재구성 파이프라인을 설계한다.

실험 결과

연구 질문

• RQ1 ALICE의 런 3에서 50 kHz 연속 충돌 빈도 조건 하에서 온라인 TPC 트랙 재구성은 어떻게 오프라인 수준의 해상도를 달성할 수 있는가?
• RQ2 기존의 HLT 셀룰러 오토마타 및 칼만 필터 파이프라인에 오프라인 수준의 캘리브레이션 및 해상도 향상을 통합하기 위해 어떤 수정이 필요한가?
• RQ3 고밀도 및 겹치는 충돌 환경에서 트랙 재구성 정확도를 유지하면서도 데이터 볼륨을 20배 감소시키는 방법은 무엇인가?
• RQ4 캘리브레이션되지 않은 좌표에서의 엔트로피 최적화된 재피팅은 트랙 모델 품질 향상에 어떤 역할을 하는가?
• RQ5 OpenCL과 CUDA를 통한 GPU 가속은 온라인 및 오프라인 단계 간 유일한 재구성 스택을 구현하고, 향후 검출기 시스템으로의 확장에 얼마나 기여할 수 있는가?

주요 결과

• 제안된 추적 알고리즘은 HLT의 엄격한 시간 제약 조건을 충족하면서도 오프라인 수준의 해상도를 달성하여 50 kHz에서 실시간 처리가 가능하다.
• 온라인 파이프라인에 시간 및 위치에 따라 변하는 캘리브레이션을 통합함으로써 고밀도 조건에서 트랙 재구성 정확도가 크게 향상되었다.
• 운동량 범위 확장과 엔트로피 최적화된 재피팅을 통해 데이터 감소율 20배를 달성하였으며, 저-$p_{\rm T}$ 트랙 식별 능력은 유지되었다.
• OpenCL과 CUDA의 사용은 CPU 및 GPU에서 실행 가능한 통합 소프트웨어 스택을 가능하게 하여 재구성 단계 간 이식성과 확장성을 확보하였다.
• 이 알고리즘은 향후 ALICE 런 3 업그레이드에서 TPC 추적을 초과하여 다른 재구성 단계 및 검출기로의 GPU 가속 확장을 위한 가능성을 입증하였다.
• 성능 벤치마크 결과, GPU 가속이 연속 데이터 수집에 필요한 처리량과 지연 시간을 충족시키며, 계산 워크로드를 GPU 중심 아키텍처로 이동시킬 수 있음을 확인하였다.