[論文レビュー] Inductive Simulation of Calorimeter Showers with Normalizing Flows

Matthew R. Buckley, Claudius Krause+2 more|arXiv (Cornell University)|May 19, 2023

Particle physics theoretical and experimental studies参考文献 48被引用数 12

ひとこと要約

Inductive CaloFlow (iCal oFlow) を紹介する。メモリ効率の高い帰納的正規化フローの枠組みで、高粒度のカロリメータ・ショーをシミュレートし、連続する層のペアで訓練し、教師-生徒蒸留により高速生成を実現する。

ABSTRACT

Simulating particle detector response is the single most expensive step in the Large Hadron Collider computational pipeline. Recently it was shown that normalizing flows can accelerate this process while achieving unprecedented levels of accuracy, but scaling this approach up to higher resolutions relevant for future detector upgrades leads to prohibitive memory constraints. To overcome this problem, we introduce Inductive CaloFlow (iCaloFlow), a framework for fast detector simulation based on an inductive series of normalizing flows trained on the pattern of energy depositions in pairs of consecutive calorimeter layers. We further use a teacher-student distillation to increase sampling speed without loss of expressivity. As we demonstrate with Datasets 2 and 3 of the CaloChallenge2022, iCaloFlow can realize the potential of normalizing flows in performing fast, high-fidelity simulation on detector geometries that are ~ 10 - 100 times higher granularity than previously considered.

研究の動機と目的

• LHCワークロードにおける高い検出器粒度での高速かつ正確なカロリメータ・ショーのシミュレーションの必要性を動機付ける。
• レイヤーごとのパターンを学習して正規化フローを大規模なカロリメータデータセットにスケールさせる、メモリ効率の良い帰納的モデルを開発する。
• 忠実性を損なうことなくサンプリングを高速化するためにteacher-student蒸留を活用する。

提案手法

• ショー生成を3つのフローに分解する：Flow-1は入射エネルギーに条件付けられた総レイヤーエネルギーをモデル化、Flow-2はE_incとE1に条件付けられた最初のレイヤーの単位正規化エネルギーをモデル化、Flow-3は前のレイヤーとエネルギーに条件付けられた後続レイヤーの単位正規化エネルギーをモデル化。
• teacherフローをMasked Autoregressive Flows (MAFs)として、rational quadratic spline (RQS)変換とMADE条件ネットワークを用いて訓練する。
• Flow-2およびFlow-3に対して、teacher MAFsを模倣する学生としてfast-sampling Inverse Autoregressive Flows (IAFs)を訓練するためにProbability Density Distillation (PDD)を適用する。
• 生成された正規化パターンからエネルギー閾値を適用し、レイヤーエネルギーを計算する（proxy energies）。
• CaloChallenge2022 Datasets 2と3で layer-inductive アプローチを用いて訓練し、1層あたり最大900ボクセル、全体で45層から学習可能とする。
• ワンサイクル学習率スケジュールと特化した訓練レジームを使用し、検証損失とKLダイバージェンスでモデル選択を行う。

Figure 2: Schematic of the three i CaloFlow flows. Solid lines are bidirectional — the direction into each flow denotes the density estimation step and the direction out of the flow denotes the sample generation step. Note that there are postprocessing steps (see main text) after each generation ste

実験結果

リサーチクエスチョン

• RQ1 従来手法と比べて、誘導的で層別の正規化フローがかなり高い粒度で高忠実度のカロリメータ・ショーを再現できるか？
• RQ2 PDDを介したteacher-student蒸留は、忠実性を保ちながら大規模・高次元のカロリメータデータでのサンプリングを高速化できるか？
• RQ3 iCal oFlowは、Geant4および従来の高速シミュレーション手法と比較して、レイヤーあたりのエネルギー沈殿、ボクセル単位の分布、および全体のショーの形態の観点でどのように性能を示すか？

主な発見

• iCal oFlowはDataset 2およびDataset 3で高忠実度の生成を達成し、レイヤーエネルギーおよびボクセルレベルのパターンでGeant4分布と一致する。
• 教師MAFsは正確な密度推定を提供し、IAF学生は忠実性はやや犠牲になりつつも、はるかに高速なサンプリングを可能にする。
• 生成されたレイヤーエネルギーとボクセル分布はGeant4と良く一致し、初期レイヤーや非常に低いボクセルエネルギーでいくつかの予想される偏差がある。
• スパース性パターンと放射状リングのボクセルエネルギー分布は、複数のレイヤーおよび検出器幾何学にわたって、iCal oFlowは十分に捉えている。
• 帰納的アプローチは全体容量の正規化フローに比べてメモリ使用量を削減し、高粒度のカロリメータシミュレーションを可能にする。

Figure 3: Illustration of OneCycle LR schedule with annihilation phase [ 26 ] .