[论文解读] Inductive Simulation of Calorimeter Showers with Normalizing Flows

Matthew R. Buckley, Claudius Krause+2 more|arXiv (Cornell University)|May 19, 2023

Particle physics theoretical and experimental studies参考文献 48被引用 12

一句话总结

引入 Inductive CaloFlow（iCal oFlow），一种节省内存、归纳式的正则化流框架，用于模拟高粒度的卡洛里计量器淋浴，在相邻层对间进行训练，并通过师生蒸馏实现快速生成。

ABSTRACT

Simulating particle detector response is the single most expensive step in the Large Hadron Collider computational pipeline. Recently it was shown that normalizing flows can accelerate this process while achieving unprecedented levels of accuracy, but scaling this approach up to higher resolutions relevant for future detector upgrades leads to prohibitive memory constraints. To overcome this problem, we introduce Inductive CaloFlow (iCaloFlow), a framework for fast detector simulation based on an inductive series of normalizing flows trained on the pattern of energy depositions in pairs of consecutive calorimeter layers. We further use a teacher-student distillation to increase sampling speed without loss of expressivity. As we demonstrate with Datasets 2 and 3 of the CaloChallenge2022, iCaloFlow can realize the potential of normalizing flows in performing fast, high-fidelity simulation on detector geometries that are ~ 10 - 100 times higher granularity than previously considered.

研究动机与目标

• 说明在高探测器粒度下，为 LHC 工作负载提供快速、准确的卡洛里计量器淋浴仿真的需求。
• 开发一种节省内存的归纳模型，通过逐层学习模式，将正则化流扩展到大型卡洛里计量器数据集。
• 利用师生蒸馏来加速采样，同时不牺牲保真度。

提出的方法

• 将淋浴生成分解为三个流：Flow-1 在入射能量条件下建模总层能量，Flow-2 在 E_inc 和 E1 条件下建模第一层单位归一化能量，Flow-3 在后续层在先前层及能量条件下建模单位归一化能量。
• 将教师流训练为带有有理二次样条（RQS）变换和 MADE 条件网络的 Masked Autoregressive Flows (MAFs)。
• 应用 Probability Density Distillation (PDD) 将快速采样的 Inverse Autoregressive Flows (IAFs) 训练为学生，以模仿 Flow-2 和 Flow-3 的教师 MAFs。
• 后处理以强制执行能量阈值并从生成的归一化模式（代理能量）计算层能量。
• 在 CaloChallenge2022 数据集 2 和 3 上使用层-inductive 方法进行训练，使其能够从 45 层学习，每层最多 900 个体素。
• 使用单周期学习率调度和定制的训练方案，通过验证损失和 KL 散度进行模型选择。

Figure 2: Schematic of the three i CaloFlow flows. Solid lines are bidirectional — the direction into each flow denotes the density estimation step and the direction out of the flow denotes the sample generation step. Note that there are postprocessing steps (see main text) after each generation ste

实验结果

研究问题

• RQ1 一个归纳式、分层的正则化流模型是否能够在显著提高粒度的情况下，重现高保真度的卡洛里计量器淋浴，相较于以往方法？
• RQ2 通过 PDD 的师生蒸馏是否在实现对大规模高维卡洛里计量器数据的更快采样时保持保真度？
• RQ3 就每层能量沉积、每体素分布以及总体淋浴形态而言，iCal oFlow 相对于 Geant4 和先前的快速仿真方法的表现如何？

主要发现

• iCal oFlow 在数据集 2 和 3 上实现高保真生成，在层能量和体素级模式方面，与 Geant4 分布相匹配。
• 教师 MAF 提供准确的密度估计，而 IAF 学生使采样速度显著提升，保留了保真度，尽管存在轻微权衡。
• 生成的层能量和体素分布与 Geant4 具有良好一致性，在早期层和极低体素能量处由于归一化和预处理选择，存在一些预期的偏差。
• 稀疏模式和同心圆环体素能量分布被 iCal oFlow 在多层和不同探测器几何中很好地捕捉。
• 归纳方法相较于全体积正则化流降低了内存使用，使高粒度卡洛里计量器仿真成为可能。

Figure 3: Illustration of OneCycle LR schedule with annihilation phase [ 26 ] .