[論文レビュー] Machine Learning for Real-Time Processing of ATLAS Liquid Argon Calorimeter Signals with FPGAs

N. Chiedde|arXiv (Cornell University)|Nov 16, 2021

Particle Detector Development and Performance参考文献 7被引用数 5

ひとこと要約

本論文は、HL-LHC時代のATLAS液体アルゴンコメルータにおけるエネルギー再構築を改善するために、FPGA上で畳み込みニューラルネットワーク（CNN）および再帰的ニューラルネットワーク（RNN）を用いたリアルタイム機械学習（ML）を提案する。40 MHzで量子化された信号を150 ns未満の遅延で処理することで、従来の最適フィルタリングを上回り、>90%の検出効率を達成し、特に最大200個の衝突が重複する高積み重ね状態でも、エネルギー分解能が著しく向上する。

ABSTRACT

The ATLAS experiment at CERN measures energy of proton-proton (p-p) collisions with a repetition frequency of 40 MHz at the Large Hadron Collider (LHC). The readout electronics of liquid-argon (LAr) calorimeters are being prepared for high luminosity-LHC (HL-LHC) operation as part of the phase-II upgrade, anticipating a pileup of up to 200 simultaneous p-p interactions. The increase of the number of p-p interactions implies that calorimeter signals of up to 25 consecutive collisions overlap, making energy reconstruction more challenging. In order to achieve the goal of the HL-HLC, field-programmable gate arrays (FPGAs) are used to process digitized pulses sampled at 40 MHz in real time and different machine learning approaches are being investigated to deal with signal pileup. The convolutional and recurrent neural networks outperform the optimal signal filter currently in use, both in terms of assigning the reconstructed energy to the correct proton bunch crossing and in terms of energy resolution. The enhancements are focused on energy obtained from overlapping pulses. Because the neural networks are implemented on an FPGA, the number of parameters, resource usage, latency and operation frequency must be carefully analysed. A very good agreement is observed between neural network implementations in FPGA and software.

研究の動機と目的

• HL-LHCにおける最大200個の同時プロトン-プロトン衝突に起因する信号の重なり（積み重ね）により低下するATLAS液体アルゴンコメルータのエネルギー分解能の劣化という課題に対処すること。
• 36,000本の光ファイバーから生じる250 Tbpsのデータ帯域幅を処理するため、FPGAを用いたリアルタイムで低遅延な信号処理ソリューションを開発すること。
• シミュレーテッドHL-LHCデータを用いてトレーニングされたディープラーニングモデルを活用し、現在の最適フィルタ（OF）を上回るエネルギー再構築の正確性を向上させること。
• リアルタイムトリガ互換性を満たすために、厳密な遅延（<150 ns）および周波数（>480 MHz）制約を満たすリソース効率の良いFPGA実装を保証すること。

提案手法

• ノイズと積み重ねを含むシミュレーテッドHL-LHCデータを用いて、KerasおよびTensorFlowで3-Convおよび4-Conv CNNをトレーニングし、ネットワークをパulsesタギングサブネットワークとエネルギー再構築サブネットワークに分割する。
• 2段階のCNNアーキテクチャを実装：まず、3または4層の畳み込みネットワークが240 MeV以上のエネルギー寄与を検出（3σノイズ閾値）、次にタグ付きおよび元の入力信号を用いてエネルギーを再構築する。
• 滑らかなウィンドウアプローチを用いて、2種類のRNNアーキテクチャ（バニラRNNおよびLSTM）を評価し、重複する信号シーケンスを処理する。LSTMはゲート付きメモリユニットを用いて長期依存性をモデル化する。
• 低遅延性能を実現するため、CNNをVHDLで実装し、高クロック周波数を最適化するためRNNをハイレベルシンセシス（HLS）で実装し、Stratix-10 FPGAをターゲットとする。
• Kerasによるソフトウェア推論と比較してFPGAの結果を検証し、量子化およびLUTベースの活性化関数がわずかなずれを引き起こす。
• リアルタイムトリガ要件を満たすために、リソース使用量（DSP、ALM）、遅延、イニシエーションインターバル、最大クロック周波数を最適化する。

実験結果

リサーチクエスチョン

• RQ1 ATLAS LArコメルータの高積み重ね状態下で、CNNおよびRNNは現在の最適フィルタを上回るエネルギー分解能を達成できるか？
• RQ2 異なるニューラルネットワークアーキテクチャ（CNN対RNN）は、40 MHzのサンプリングレート下で重複するパルスからのエネルギー検出および再構築にどの程度効果を発揮するか？
• RQ3 FPGAベースのML実装は、リアルタイム処理に必要なリソースおよび周波数制約を満たしつつ、正確性と低遅延をどの程度維持できるか？
• RQ4 ハードウェア量子化およびLUTベースの活性化関数は、ソフトウェア推論と比較してFPGA実装のMLモデルの忠実度にどの程度の影響を及ぼすか？
• RQ5 150 ns未満の遅延を維持する条件下で、FPGA上での入力データチャネルの最大マルチプレクシング要因は何か？

主な発見

• 3-Convおよび4-Conv CNNは、240 MeV以上のエネルギー寄与に対して>90%の検出効率を達成し、最適フィルタの約80%を上回る。
• テストされたすべてのニューラルネットワーク（3-Conv CNN、4-Conv CNN、バニラRNN、LSTM）は、最適フィルターよりも優れたエネルギー分解能を示し、特に信号が重複する時間ギャップが小さい領域で顕著に優位である。
• 最良の性能を示すモデル（例：3-Conv CNNおよびLSTM）では、エネルギー寄与の時間ギャップが10–20 nsであっても、エネルギー分解能が安定している。一方、最適フィルタは著しく性能を低下させる。
• FPGA実装のニューラルネットワークはソフトウェア推論と優れた一致を示し、CNNでは出力の相対的ずれが1%未満、RNNでは最大2%のずれが量子化およびLUTベースの活性化関数の影響で生じる。
• すべての実装における最大クロック周波数は480–641 MHzの範囲にあり、CNNでは6倍のマルチプレクシングが可能、バニラRNNでは15倍が可能。後者は最高周波数641 MHzを達成したが、リソース使用量も高めであった。
• スライディングウィンドウを用いたLSTMは、517 MHzのクロック周波数と12.8%のDSP使用率を達成し、高スループット処理における性能とリソース効率の妥当なトレードオフを示している。