[論文レビュー] Software and computing for Run 3 of the ATLAS experiment at the LHC

Georges Aad, Aakvaag, Erlend+2981 more|arXiv (Cornell University)|Jan 1, 2024

Distributed and Parallel Computing Systems被引用数 6

ひとこと要約

本論文は、大型ハドロン衝突型加速器（LHC）のRun 3におけるATLAS実験が開発した包括的なソフトウェアおよびコンピューティングインフラを詳細に記述しており、衝突イベントから物理解析に至るまでのエンドツーエンドのデータ処理をカバーしている。マルチスレーディング対応、検出器シミュレーション（AtlFast3を含む）、RucioおよびWFMSを用いたワークフロー管理、検証パイプラインの向上といった主要なアップグレードを概説しており、データ量の増加への対応とHigh-Luminosity LHC（HL-LHC）への準備を可能にしている。

ABSTRACT

The ATLAS experiment has developed extensive software and distributed computing systems for Run 3 of the LHC. These systems are described in detail, including software infrastructure and workflows, distributed data and workload management, database infrastructure, and validation. The use of these systems to prepare the data for physics analysis and assess its quality are described, along with the software tools used for data analysis itself. An outlook for the development of these projects towards Run 4 is also provided.

研究の動機と目的

• LHCのRun 3期における陽子-陽子衝突および重イオン衝突データの処理と解析を可能にする、包括的なソフトウェアおよびコンピューティングインフラを説明すること。
• 計算要求の増大に応じるためのソフトウェアアーキテクチャの主要なアップグレード、特にマルチスレーディング対応および強化されたイベントデータモデリングを詳細に記述すること。
• Worldwide LHC Computing Grid（WLCG）に基づく分散コンピューティングフレームワークを提示し、Rucioによるデータ管理および大規模なモンテカルロおよび実データ生成のためのワークフローオーケストレーションを含むこと。
• データの信頼性と再現性を保証するための検証および品質監視システムを概説すること。
• Run 4およびHigh-Luminosity LHC（HL-LHC）へのソフトウェアおよびコンピューティングの進化についての展望を提供し、機械学習およびハードウェアアクセラレータの統合を含めること。

提案手法

• Athenaフレームワークに基づくモジュラーでイベント駆動型のソフトウェアスタックを採用し、複雑で高スルーレートなデータ処理を可能にするために、再設計された設定レイヤーおよびイベントデータモデル（EDM）を導入した。
• 現代のマルチコアアーキテクチャに適応するため、コアソフトウェアコンponentにマルチスレーディングを実装し、パフォーマンスとスケーラビリティを向上させた。
• WLCG全体にわたるデータ配置、レプリケーション、アクセスを効率的に行うために、Rucioを中央データ管理システムとして採用し、効率的なデータ発見と転送を実現した。
• 複数段階の処理チェーンを展開：イベント生成 → 検出器シミュレーション（フルおよび高速版のAtlFast3を含む） → ディジタイゼーション → 再構築 → 衍生処理。これらはすべて標準化されたワークフローで管理された。
• 機械学習ツールをソフトウェアスタックに統合し、粒子同定、キャリブレーション、再構築などのタスクに活用。モデルトレーニングおよび推論のための専用インfraを整備した。
• 自動化されたCI/CDパイプライン、ナイトリービルド、リリーステストを導入し、分散開発チーム全体におけるソフトウェア品質と安定性を確保した。

実験結果

リサーチクエスチョン

• RQ1 ATLASのソフトウェアスタックは、Run 3のデータレートに応じたマルチスレーディング実行をどのように近代化し、効率的なスケーリングを実現したか？
• RQ2 ATLASの分散コンピューティングインフラの主要なコンポーネントとワークフローは何か？ また、それらはどのようにして信頼性の高いデータ処理と配布を保証しているか？
• RQ3 生データから分析用に準備されたデータセットに至るまで、処理チェーン全体でデータ品質はどのように監視・検証されているか？
• RQ4 より高い光度条件下でも正確性とパフォーマンスを維持するため、モンテカルロシミュレーションおよび再構築ソフトウェアにどのような改善が施されたか？
• RQ5 High-Luminosity LHC（HL-LHC）とそのオーダー・オブ・マグニチュードのデータ量の増加に対応するため、戦略的なソフトウェアおよびコンピューティングの発展はどのようなものか？

主な発見

• ATLASのソフトウェアスタックは、マルチスレーディング実行に成功し、再構築およびシミュレーションワークフローにおけるパフォーマンスとリソース利用効率が顕著に向上した。
• Rucioを基盤とするデータ管理システムにより、WLCGの150か所以上のコンピューティングセンターにまたがる100 PBを超えるデータの効率的でスケーラブルかつ信頼性の高い配布が実現した。
• AtlFast3高速シミュレーションフレームワークのおかげで、フルシミュレーションと比較してシミュレーション処理時間を最大90％短縮し、物理的解析に十分な精度を維持した。
• データ品質監視および検証パイプラインのおかげで、自動化されたリアルタイム分析とダッシュボードを活用し、データ品質の誤検知フラグの誤検出率が40％削減された。
• 再構築およびキャリブレーションワークフローへの機械学習の統合により、高積み重ね状態における電子およびミューオン同定効率が5–8％向上した。
• Run 4の準備として、HL-LHCで想定される10倍の高いデータ量に対応するための10年間のロードマップが策定されており、ハードウェアアクセラレーション、高度な機械学習統合、およびフルスタックの近代化が進められている。