[논문 리뷰] Global Track Reconstruction and Data Compression Strategy in ALICE for LHC Run 3

D. Røhr|arXiv (Cornell University)|2019. 10. 27.

Advanced Data Storage Technologies참고 문헌 8인용 수 6

한 줄 요약

이 논문은 ALICE의 LHC 런 3 업그레이드를 위한 GPU 가속화된 글로벌 트래킹 및 데이터 압축 전략을 제시하며, 50 kHz Pb–Pb 상호작용 레이트에서 실시간 동기 재구성 가능성을 확보한다. CPU/GPU 이식성을 위해 OpenCL과 CUDA를 활용함으로써, TPC 트래킹에서 약 40×의 성능 향상을 달성하고, 최적화된 클러스터 거부 및 엔트로피 코딩을 통해 TPC 데이터에 대해 20×의 압축 비율을 목표로 하여, 지속적인 데이터 수집을 위한 저장 및 캘리브레이션 요구사항을 충족시킨다.

ABSTRACT

In LHC Run 3, ALICE will increase the data taking rate significantly, from an approximately 1 kHz trigger readout in minimum-bias Pb--Pb collisions to a 50 kHz continuous readout rate. The reconstruction strategy of the online-offline computing upgrade foresees a synchronous online reconstruction stage during data taking, which generates the detector calibration, and a posterior calibrated asynchronous reconstruction stage. The huge amount of data requires a significant compression in order to store all recorded events. The aim is a factor 20 compression of the TPC data, which is one of the main challenges during synchronous reconstruction. In addition, the reconstruction will run online, processing 50 times more collisions than at present, yielding results comparable to current offline reconstruction. These requirements pose new challenges for the tracking, including the continuous TPC readout, more overlapping collisions, no a priori knowledge of the primary vertex position and of location-dependent calibration during the synchronous phase, identification of low-momentum looping tracks, and a distorted refit to improve track model entropy coding. At the 2018 workshop, the TPC tracking for Run 3 was presented, which matches the physics performance of the Run 2 offline tracking. It leverages the potential of hardware accelerators via the OpenCL and CUDA APIs in a shared source code for CPUs and GPUs for both reconstruction stages. Porting more reconstruction steps like the remainder of the TPC reconstruction and tracking for other detectors to GPU will shift the computing balance from traditional processors towards GPUs. These proceedings focus on the global tracking strategy, including the ITS and TRD detectors, offloading more reconstruction steps onto GPU, and the approaches taken to achieve the necessary data compression.

연구 동기 및 목표

• ALICE의 런 3에서 연속적인 Pb–Pb 데이터 수집 동안 런 2 대비 수십 배 높은 데이터 레이트를 처리할 수 있도록 하는 도전 과제 해결.
• 빔 시간 동안 데이터를 동기적으로 처리함으로써 실시간 온라인 재구성 및 캘리브레이션을 가능하게 하여 오프라인 캘리브레이션 단계가 필요 없도록 하는 것.
• TPC 데이터, 주요 데이터 소스에 대해 고도화된 클러스터 거부 및 엔트로피 코딩을 통해 20×의 압축 비율 달성.
• TPC, ITS, TRD, TOF 재구성 단계 전반에 걸쳐 GPU 가속을 가능하게 하는 OpenCL과 CUDA를 활용한 통합 소프트웨어 스택 개발.
• 저운동량 및 루프 트랙의 고정밀도 트래킹을 유지하면서도, 압축된 데이터에서 가짜 클러스터 연관성을 최소화하는 것.

제안 방법

• 실시간 50 kHz Pb–Pb 이벤트 처리를 위해 약 750台의 서버와 1500개의 GPU를 포함하는 GPU 가속화 컴퓨팅 팜을 활용해 동기 온라인 재구성 구현.
• OpenCL과 CUDA API를 통한 공통 소스 코드 활용으로 TPC 트래킹 및 캘리브레이션 단계를 GPU로 이식하여 단일 CPU 코어 대비 약 40×의 성능 향상 달성.
• 이중 단계 압축 전략 적용: 먼저 트래킹 기반 거부 전략(A 또는 B)을 통해 비필수 TPC 클러스터를 거부하고, 이후 ANS 엔트로피 코딩을 적용하여 추가로 압축.
• 카이제곱 값 기반 동적 클러스터 인접 기준을 도입하여 가짜 클러스터 보호를 감소시켜 거부 정확도 향상.
• 재구성된 트랙을 활용해 물리적 의미 있는 트랙과 관련이 없는 히트, 특히 저pT 및 노이즈 클러스터를 식별하고 제거.
• 캘리브레이션을 동기 단계에 통합하여 ITS, TPC, TRD, TOF 전반에서 트랙 재피팅을 수행함으로써 오프라인 후처리 없이도 온라인 캘리브레이션을 가능하게 함.

실험 결과

연구 질문

• RQ1 50 kHz 연속 읽기에서 TPC 데이터에 대해 20×의 압축 비율을 달성하면서도 고정밀도 트래킹 성능을 유지할 수 있는 방법은 무엇인가?
• RQ2 런 2 대비 50배 많은 이벤트를 처리할 수 있는 실시간 GPU 기반 재구성 전략은 무엇이며, 현재 오프라인 재구성 수준과 유사한 성능을 달성할 수 있는가?
• RQ3 클러스터 거부 전략은 가짜 양성 결과를 최소화하고 히트 제거 비율을 극대화하면서도 트랙 재구성 품질을 떨어뜨리지 않도록 어떻게 설계할 수 있는가?
• RQ4 엔트로피 코딩(특히 ANS)은 클러스터 거부 이후 최종 데이터 레이트 목표를 달성하는 데 어떤 역할을 하는가?
• RQ5 온라인 캘리브레이션은 어떻게 동기 재구성 파이프라인에 완전히 통합되어 별도의 오프라인 캘리브레이션 단계가 필요 없도록 할 수 있는가?

주요 결과

• GPU 기반 TPC 트랙 찾기 기술은 단일 CPU 코어 대비 40×의 성능 향상을 달성하여 50 kHz Pb–Pb 충돌의 실시간 처리를 가능하게 한다.
• 전략 B(최적화된 클러스터 거부)를 적용할 경우 TPC 데이터 레이트는 예상 128 GB/s로, TDR에서 제시한 설계 목표를 충족한다.
• 현재 소프트웨어는 트래킹을 통해 62.5%의 클러스터를 보호하고 있으며, 전략 A에서는 최대 37.5%의 히트 제거가 가능하고, 이상 조건에서는 최대 52.5%까지 가능하다.
• ANS 엔트로피 코딩 단계는 2.2×의 압축 비율을 달성하여, 조밀한 형식에서의 285 GB/s 데이터 레이트를 128 GB/s로 감소시킨다.
• 고정된 1.5 cm 튜브 반경 대신 카이제곱 기반 동적 기준을 도입함으로써 가짜 인접 클러스터 비율이 크게 감소하여 클러스터 연관 정확도가 향상된다.
• 동기 재구성 파이프라인은 성공적으로 캘리브레이션과 데이터 압축을 통합하여 별도의 오프라인 캘리브레이션 단계가 필요 없음을 입증했다.