[論文レビュー] Track Reconstruction in the ALICE TPC using GPUs for LHC Run 3

D. Røhr, S. Gorbunov+2 more|arXiv (Cornell University)|Nov 28, 2018

Advanced Data Storage Technologies被引用数 4

ひとこと要約

本論文は、LHC Run 3におけるALICEのGPUアクセラレートTDCトラック再構成アルゴリズムを提示する。OpenCLおよびCUDAを用いたCPU/GPU共有コードにより、ハイブリッドセルオートマトンとカルマンフィルタ手法を採用。50 kHz継続的読み出し要件を満たしつつ、オフライン品質の分解能と効率を達成。ベンチマークでは、NVIDIA GTX 1080 GPU上で23 msデータフレームあたり約20秒の処理時間を記録。

ABSTRACT

In LHC Run 3, ALICE will increase the data taking rate significantly to continuous readout of 50 kHz minimum bias Pb-Pb collisions. The reconstruction strategy of the online offline computing upgrade foresees a first synchronous online reconstruction stage during data taking enabling detector calibration, and a posterior calibrated asynchronous reconstruction stage. We present a tracking algorithm for the Time Projection Chamber (TPC), the main tracking detector of ALICE. The reconstruction must yield results comparable to current offline reconstruction and meet the time constraints like in the current High Level Trigger (HLT), processing 50 times as many collisions per second as today. It is derived from the current online tracking in the HLT, which is based on a Cellular automaton and the Kalman filter, and we integrate missing features from offline tracking for improved resolution. The continuous TPC readout and overlapping collisions pose new challenges: conversion to spatial coordinates and the application of time- and location dependent calibration must happen in between of track seeding and track fitting while the TPC occupancy increases five-fold. The huge data volume requires a data reduction factor of 20, which imposes additional requirements: the momentum range must be extended to identify low-pt looping tracks and a special refit in uncalibrated coordinates improves the track model entropy encoding. Our TPC track finding leverages the potential of hardware accelerators via the OpenCL and CUDA APIs in a shared source code for CPUs, GPUs, and both reconstruction stages. Porting more reconstruction steps like the remainder of the TPC reconstruction and tracking for other detectors will shift the computing balance from traditional processors to GPUs.

研究の動機と目的

• LHC Run 2の5倍にあたる50 kHz継続的Pb–Pb衝突レートにおけるALICE TPCでのトラック再構成の課題に対処する。
• オンライン処理時間制約内で、オフライン再構成の分解能と効率と同等の品質を達成する。
• データ取得中に同期的に再構成を実行することで、リアルタイム補正とデータ圧縮を可能にする。
• 継続的読み出しモードにおける一次頂点情報の欠如および時間/位置依存歪みに対処する。
• 高度なトラックマージとエントロピー符号化により、20倍の圧縮率を達成し、データ量を最小限に抑える。

提案手法

• OpenCLおよびCUDAを用いて、CPU/GPU上で実行可能なGPU用に、Run 2のハイレベルトリガー（HLT）トラッキングパイプライン（セルオートマトンシーディングおよびカルマンフィルタリングに基づく）を最適化する。
• 頂点時刻推定後に、TDCヒットをネイティブなパッド、ロウ、時間座標から空間座標（x, y, z）にオンザフライ変換する。
• オフライントラッキング機能（ループトラックマージおよび中央電極通過伝搬）を統合し、分解能を向上させる。
• データ圧縮のためのトラックモデルエントロピー符号化を向上させるために、補正なし座標でのリファイティングを実装する。
• 同じ再構成コードをCPUおよびGPUで実行できる共有ソースソフトウェアスタックを設計し、移植性とパフォーマンスの移植性を実現する。
• GPUアクセラレーションをITSおよびTRDトラッキング、およびデータ圧縮ステージに拡張する計画であり、ホスト-GPU間データ転送を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 ALICE TPCにおけるトラック再構成は、50 kHz継続的データレート下でどのようにしてオフラインレベルの分解能と効率を達成できるか？
• RQ2 一次頂点割り当てなしで継続的読み出しをサポートするために、既存のHLTトラッキングパイプラインにどのような変更が必要か？
• RQ3 オンザフライ座標変換とリアルタイム補正をパフォーマンス劣化を伴わずにトラッキングパイプラインに統合できるか？
• RQ4 下流の解析に必要な物理的感受性を持つトラック情報を保持したまま、達成可能なデータ圧縮率はどの程度か？
• RQ5 GPUアクセラレーションは、O2コンピューティングフレームワークにおける完全な再構成チェーンに、TPCトラッキングを越えてどの程度拡張可能か？

主な発見

• GPU最適化されたTDCトラッキングアルゴリズムは、オフライン品質の分解能と効率を達成し、トラック検出性能は現在のオフライン再構成と同等またはそれ以上である。
• ベンチマーク結果では、1枚のNVIDIA GTX 1080 GPU上で23 msデータフレームあたり約20秒の処理時間を記録し、リアルタイム処理要件を満たしている。
• シーディング後に座標変換を延期することで、絶対的z座標の欠如および時間/場所依存歪みに対しても効果的に対処している。
• 高度なトラックマージとエントロピー符号化により、20倍のデータ圧縮率を達成しており、増加するデータ量の管理に不可欠である。
• 共有CPU/GPUコードベースにより、異機材環境へのシームレスな展開が可能であり、ITS、TRD、およびデータ圧縮ステージへのGPUアクセラレーション拡張を計画している。
• 全TPCトラッキングに要するGPU容量は約1000枚を想定し、O2コンピューティングファームには1500台のGPU搭載サーバーを計画しており、追加タスクに十分な余裕がある。