[論文レビュー] Global Track Reconstruction and Data Compression Strategy in ALICE for LHC Run 3

D. Røhr|arXiv (Cornell University)|Oct 27, 2019

Advanced Data Storage Technologies参考文献 8被引用数 6

ひとこと要約

本論文は、ALICEのLHCラン3アップグレードのためのGPUアクセラレート型グローバルトラッキングおよびデータ圧縮戦略を提示しており、50 kHzのPb–Pb衝突レートにおけるリアルタイム同期再構成を可能にしている。OpenCLおよびCUDAを用いたCPU/GPUのポータビリティを活用することで、TPCトラッキングで約40倍の高速化を達成し、最適化されたクラスターリジェクションおよびエントロピー符号化によりTPCデータの20倍圧縮を実現し、継続的データ取得のためのストレージおよびキャリブレーション要件を満たしている。

ABSTRACT

In LHC Run 3, ALICE will increase the data taking rate significantly, from an approximately 1 kHz trigger readout in minimum-bias Pb--Pb collisions to a 50 kHz continuous readout rate. The reconstruction strategy of the online-offline computing upgrade foresees a synchronous online reconstruction stage during data taking, which generates the detector calibration, and a posterior calibrated asynchronous reconstruction stage. The huge amount of data requires a significant compression in order to store all recorded events. The aim is a factor 20 compression of the TPC data, which is one of the main challenges during synchronous reconstruction. In addition, the reconstruction will run online, processing 50 times more collisions than at present, yielding results comparable to current offline reconstruction. These requirements pose new challenges for the tracking, including the continuous TPC readout, more overlapping collisions, no a priori knowledge of the primary vertex position and of location-dependent calibration during the synchronous phase, identification of low-momentum looping tracks, and a distorted refit to improve track model entropy coding. At the 2018 workshop, the TPC tracking for Run 3 was presented, which matches the physics performance of the Run 2 offline tracking. It leverages the potential of hardware accelerators via the OpenCL and CUDA APIs in a shared source code for CPUs and GPUs for both reconstruction stages. Porting more reconstruction steps like the remainder of the TPC reconstruction and tracking for other detectors to GPU will shift the computing balance from traditional processors towards GPUs. These proceedings focus on the global tracking strategy, including the ITS and TRD detectors, offloading more reconstruction steps onto GPU, and the approaches taken to achieve the necessary data compression.

研究の動機と目的

• ALICEのラン3における継続的Pb–Pbデータ取得で、ラン2に比べて桁違いに高い50倍のデータレートを処理する課題に対処する。
• ビーム時間中にデータを同期的に処理することで、リアルタイムのオンライン再構成およびキャリブレーションを可能にし、オフラインキャリブレーションプロセスの必要性を排除する。
• TPCデータ（主なデータソース）に対して20倍の圧縮比を達成するため、高度なクラスターリジェクションおよびエントロピー符号化を実施する。
• OpenCLおよびCUDAを用いた統合ソフトウェアスタックを構築し、TPC、ITS、TRD、TOFの再構成段階におけるGPUアクセラレーションを可能にする。
• 低運動量およびループするトラックの高精度なトラッキングを維持するとともに、圧縮データにおける誤ったクラスタ関連付けの最小化を図る。

提案手法

• 50 kHzのPb–Pbイベントをリアルタイムに処理できるよう、約750台のサーバーおよび1500枚のGPUを備えたGPUアクセラレート型コンピューティングファームを用いて、同期的オンライン再構成を実装する。
• OpenCLおよびCUDA APIを介して共有ソースコードを用いることで、TPCトラッキングおよびキャリブレーション手順をGPUに移植し、単一CPUコアに比べて40倍の高速化を達成する。
• 二段階のデータ圧縮戦略を採用する：まず、トラッキングに基づくリジェクション（戦略AまたはB）を用いて不要なTPCクラスタを除外し、その後にANSエントロピー符号化を適用してさらなる圧縮を実現する。
• カイ二乗値に基づく動的クラスタ隣接基準を導入することで、誤ったクラスタ保護を低減し、リジェクションの正確性を向上させる。
• 再構成されたトラックを用いて、物理的関連のあるトラックに属さないヒット（特に低pTおよびノイズクラスタ）を同定・削除する。
• キャリブレーションを同期フェーズに統合することで、ITS、TPC、TRD、TOFを横断してトラックを再フィットし、オフライン後処理を必要としないオンラインキャリブレーションを実現する。

実験結果

リサーチクエスチョン

• RQ1 ALICEは、50 kHz継続的読み出しにおける高精度なトラッキングを維持しつつ、TPCデータに対して20倍の圧縮比を達成するにはどうすればよいか？
• RQ2 GPUベースの再構成戦略は、ラン2に比べて50倍も多くのイベントをリアルタイムで処理し、現在のオフライン再構成と同等の性能を達成するにはどうすればよいか？
• RQ3 クラスターリジェクション戦略は、トラック再構成品質の劣化を防ぎつつ、誤検出を最小限に抑え、ヒットの除去を最大化するにはどうすればよいか？
• RQ4 エントロピー符号化（特にANS）は、クラスターリジェクション後の最終データレート目標達成にどのように寄与するか？
• RQ5 オンラインキャリブレーションを完全に同期再構成パイプラインに統合するにはどうすればよいか？これにより、別個のオフラインキャリブレーションプロセスの必要性が排除される。

主な発見

• GPUベースのTPCトラック検出は、単一CPUコアに比べて40倍の高速化を達成し、50 kHzのPb–Pb衝突のリアルタイム処理を可能にしている。
• 戦略B（最適化されたクラスターリジェクション）を用いることで、TPCデータレートは予想される128 GB/sに達し、TDRで提示された設計目標を満たしている。
• 現在のソフトウェアではトラッキングによる62.5％のクラスタ保護が可能であり、戦略Aでは最大37.5％のヒットリジェクションが可能で、理想的な状況では最大52.5％まで向上する。
• ANSエントロピー符号化ステップにより2.2倍の圧縮比が達成され、密度が高い形式の285 GB/sから128 GB/sへのデータレート低下が実現された。
• 固定された1.5 cmのチューブ半径からカイ二乗値に基づく動的基準に置き換えることで、偽隣接クラスタ率が顕著に低減され、クラスタ関連の正確性が向上した。
• 同期再構成パイプラインはキャリブレーションおよびデータ圧縮を効果的に統合し、別個のオフラインキャリブレーションプロセスの必要性を排除した。