[論文レビュー] LHCb's Forward Tracking algorithm for the Run 3 CPU-based online track-reconstruction sequence

P. A. Günther|arXiv (Cornell University)|Jul 26, 2022

Particle physics theoretical and experimental studies被引用数 4

ひとこと要約

本論文は、LHCbのRun 3 CPUベースのハイレベルトリガー（HLT2）の主要な構成要素であるフォワードトラッキングアルゴリズムを提示する。このアルゴリズムは、AVX2命令を用いたSIMDベクタライゼーションにより、スカイフィトラッカーにおけるトラック再構築を高速化し、再構築効率を損なわず、偽トラック率を上昇させることなく、60％のスループット向上を達成した。これにより、1ノードあたり1秒間に500件以上のイベント処理が可能になった。

ABSTRACT

In Run 3 of the LHC the LHCb experiment faces very high data rates containing beauty and charm hadron decays. Thus the task of the trigger is not to select any beauty and charm events, but to select those containing decays interesting for the LHCb physics programme. LHCb has therefore implemented a real-time data processing strategy to trigger directly on reconstructed events. The first stage of the purely software-based trigger is implemented on GPUs performing a partial event reconstruction. In the second stage of the software trigger, the full, offline-quality event reconstruction is performed on CPUs, with a crucial part being track reconstruction, balancing track finding efficiency, fake track rate and event throughput. LHCb's CPU-based track reconstruction sequence for Run 3 is presented, highlighting the "Forward Tracking", which is the algorithm that reconstructs trajectories of charged particles traversing all of LHCb's tracking detectors. To meet event throughput requirements, the "Forward Tracking" uses SIMD instructions in several core parts of the algorithm, such as the Hough transform and the cluster search. These changes led to an improvement of the algorithm's event throughput by 60%.

研究の動機と目的

• LHCb Run 3における高いデータレートに対処すること。これは、1秒間に数百万件のベータおよび charm ハドロン崩壊が発生するため、従来のハードウェアトリガーの能力を超える。
• CPUのみを用いてもリアルタイムでオフライン品質に準拠した完全なイベント再構築をHLT2段階で実現すること。これには高いイベントスループットと低い遅延が求められる。
• 長距離トラック再構築における冗長性を低減すること。具体的には、マッチングアルゴリズムでマッチングされなかった残差VEL0トラックのみをフォワードトラッキングが処理するようにすること。
• SIMD命令によるデータレベル並列性を活用して、再構築品質を損なわずにCPUスループットを最適化すること。
• HLT2再構築シーケンスにおいて、1コンピューティングノードあたり1秒間に500件以上のイベント処理を達成すること。

提案手法

• フォワードトラッキングアルゴリズムは、スカイフィ検出器のヒットに現れる直線パターンを特定することで、荷電粒子の軌道を再構築する。この手法は、ハウフ変換に類似した方法を用いる。
• 256ビットのAVX2 SIMDレジスタを用いて、同時に8個の32ビット浮動小数点または整数値を処理するシングルインstructionマルチデータ（SIMD）操作を実現する。
• メモリ帯域幅を最大化し、SIMDレジスタへの効率的なロードを可能にするために、データ構造はアレイの構造（structure-of-arrays）形式に整列されている。
• アルゴリズムの計算負荷が最も高いマップリダクスフェーズ（ヒットを基準面にマッピングし、しきい値スキャンを実行する部分）に注目し、SIMD最適化が最大のパフォーマンス向上をもたらす。
• マッチングアルゴリズムでマッチングされなかった残差VEL0トラック（Tトラックとのマッチングに失敗したトラック）を種まきとして用い、スカイフィヒットのみを用いてそれらを長距離トラックに延長する。
• 完全なHLT2再構築パイプラインには、カルマンフィルタを用いたトラックフィッティングと粒子識別が含まれており、フォワードトラッキングは全体のスループット目標に貢献する。

実験結果

リサーチクエスチョン

• RQ1 フォワードトラッキングアルゴリズムは、LHCbのRun 3 HLT2再構築において、高い再構築効率と低い偽トラック率を維持しながら、どのように高いイベントスループットを達成できるか？
• RQ2 SIMD並列処理は、トラック再構築パイプラインで最も計算負荷の高い部分をどのように高速化するか？
• RQ3 Tトラックとのマッチング後に残った残差VEL0トラックを処理する際、アルゴリズムのパフォーマンスはどのようにスケーリングされるか？
• RQ4 データレイアウト（アレイの構造）は、トラック再構築におけるSIMDベクタライゼーションの効率にどのような影響を与えるか？
• RQ5 リアルタイムCPUベースのトリガー系において、再構築品質を損なわずにAVX2ベクタライゼーションがスループットをどの程度向上できるか？

主な発見

• フォワードトラッキングアルゴリズムは、AVX2 SIMD命令を活用することで、再構築効率に損なわれることなく、偽トラック率の上昇もなく、60％のスループット向上を達成した。
• B中間子崩壊由来の粒子に対して、フォワードトラッキングによる長距離トラック再構築効率は約90％を維持しており、10 GeV/c以上の運動量では95％以上に上昇する。
• フォワードトラッキング単体での統合された偽トラック率は15％であるが、その後続のカルマンフィルタリングと専用の偽トラック分類器によって低減される。
• カルマンフィルタリングと粒子識別を含むHLT2再構築シーケンス全体として、1ノードあたり1秒間に500件以上のイベント処理が達成された。
• パフォーマンス向上の主な要因は、複数のヒットとヒストグラムバケットを256ビットSIMDレジスタを用いて同時に処理するマップリダクスフェーズに起因する。
• アレイの構造データレイアウトにより、SIMDレジスタへの効率的なデータロードおよびストアが可能となり、これはベクタ化演算による高スループットを達成する上で不可欠である。