[论文解读] Global Track Reconstruction and Data Compression Strategy in ALICE for LHC Run 3

D. Røhr|arXiv (Cornell University)|Oct 27, 2019

Advanced Data Storage Technologies参考文献 8被引用 6

一句话总结

本论文提出了一种针对ALICE实验LHC Run 3升级的GPU加速全局追踪与数据压缩策略，实现了在50 kHz Pb–Pb相互作用速率下的实时同步重建。通过利用OpenCL和CUDA实现CPU/GPU的可移植性，该方法在TPC追踪上实现了约40倍的加速，并通过优化的簇 rejection 和熵编码将TPC数据的压缩因子目标定为20倍，满足了连续数据采集的存储与校准需求。

ABSTRACT

In LHC Run 3, ALICE will increase the data taking rate significantly, from an approximately 1 kHz trigger readout in minimum-bias Pb--Pb collisions to a 50 kHz continuous readout rate. The reconstruction strategy of the online-offline computing upgrade foresees a synchronous online reconstruction stage during data taking, which generates the detector calibration, and a posterior calibrated asynchronous reconstruction stage. The huge amount of data requires a significant compression in order to store all recorded events. The aim is a factor 20 compression of the TPC data, which is one of the main challenges during synchronous reconstruction. In addition, the reconstruction will run online, processing 50 times more collisions than at present, yielding results comparable to current offline reconstruction. These requirements pose new challenges for the tracking, including the continuous TPC readout, more overlapping collisions, no a priori knowledge of the primary vertex position and of location-dependent calibration during the synchronous phase, identification of low-momentum looping tracks, and a distorted refit to improve track model entropy coding. At the 2018 workshop, the TPC tracking for Run 3 was presented, which matches the physics performance of the Run 2 offline tracking. It leverages the potential of hardware accelerators via the OpenCL and CUDA APIs in a shared source code for CPUs and GPUs for both reconstruction stages. Porting more reconstruction steps like the remainder of the TPC reconstruction and tracking for other detectors to GPU will shift the computing balance from traditional processors towards GPUs. These proceedings focus on the global tracking strategy, including the ITS and TRD detectors, offloading more reconstruction steps onto GPU, and the approaches taken to achieve the necessary data compression.

研究动机与目标

• 解决ALICE在Run 3连续Pb–Pb数据采集中数据率提高50倍的存储挑战，其数据率相比Run 2高出数个数量级。
• 通过在束流期间同步处理数据，实现实时在线重建与校准，避免对离线校准流程的依赖。
• 通过先进的簇 rejection 和熵编码，实现对TPC数据（主要数据源）20倍的压缩因子。
• 开发统一的软件栈，利用OpenCL和CUDA实现TPC、ITS、TRD和TOF重建阶段的GPU加速。
• 在压缩数据中保持低动量和环形轨迹的高保真追踪，同时最小化虚假簇关联。

提出的方法

• 使用配备约750台服务器和1500块GPU的GPU加速计算集群，实现实时处理50 kHz Pb–Pb事件的同步在线重建。
• 通过OpenCL和CUDA API共享源代码，将TPC追踪与校准步骤移植到GPU上，实现相比单个CPU核心约40倍的加速。
• 采用两级数据压缩策略：首先基于追踪的拒绝方法（策略A或B）剔除非必要TPC簇，随后应用ANS熵编码实现进一步压缩。
• 基于卡方值动态设定簇邻接判定标准，以减少虚假簇保护，提升拒绝准确性。
• 利用重建轨迹识别并移除与物理相关轨迹无关的簇，特别是低pT和噪声簇。
• 通过在同步阶段重新拟合ITS、TPC、TRD和TOF的轨迹，将校准集成到同步过程中，实现实时校准，无需离线后处理。

实验结果

研究问题

• RQ1 ALICE如何在50 kHz连续读出下实现TPC数据20倍的压缩因子，同时保持高保真追踪？
• RQ2 何种基于GPU的重建策略能够实现实时处理比Run 2多50倍事件，且性能可与当前离线重建相媲美？
• RQ3 簇拒绝策略如何在不降低轨迹重建质量的前提下最小化误报并最大化有效簇剔除？
• RQ4 熵编码（特别是ANS）在簇拒绝后对实现最终数据率目标中起到何种作用？
• RQ5 如何将在线校准完全集成到同步重建流水线中，以消除对独立离线校准流程的需求？

主要发现

• 基于GPU的TPC轨迹查找相比单个CPU核心实现了40倍加速，支持50 kHz Pb–Pb碰撞的实时处理。
• 采用策略B（优化簇拒绝）时，TPC数据率预计为128 GB/s，符合TDR中设定的设计目标。
• 当前软件通过追踪保护62.5%的簇，策略A可实现最高37.5%的簇剔除，理想条件下可达到52.5%的剔除率。
• ANS熵编码步骤实现了2.2倍的压缩因子，将数据率从密集格式的285 GB/s降低至128 GB/s。
• 通过将固定的1.5 cm管半径替换为基于卡方值的动态标准，虚假相邻簇率显著降低，提升了簇关联的准确性。
• 同步重建流水线成功集成了校准与数据压缩，消除了对独立离线校准流程的需求。