[논문 리뷰] Inductive Simulation of Calorimeter Showers with Normalizing Flows

Matthew R. Buckley, Claudius Krause외 2명|arXiv (Cornell University)|2023. 05. 19.

Particle physics theoretical and experimental studies참고 문헌 48인용 수 12

한 줄 요약

Inductive CaloFlow (iCal oFlow)를 도입하는 메모리 효율적인, 유도적(normalizing flows) 프레임워크로서, 연속한 층의 쌍에 대해 교사-학생 증류를 사용해 빠른 생성을 가능하게 하며 고해상도 칼로리미터 샤워를 시뮬레이션합니다.

ABSTRACT

Simulating particle detector response is the single most expensive step in the Large Hadron Collider computational pipeline. Recently it was shown that normalizing flows can accelerate this process while achieving unprecedented levels of accuracy, but scaling this approach up to higher resolutions relevant for future detector upgrades leads to prohibitive memory constraints. To overcome this problem, we introduce Inductive CaloFlow (iCaloFlow), a framework for fast detector simulation based on an inductive series of normalizing flows trained on the pattern of energy depositions in pairs of consecutive calorimeter layers. We further use a teacher-student distillation to increase sampling speed without loss of expressivity. As we demonstrate with Datasets 2 and 3 of the CaloChallenge2022, iCaloFlow can realize the potential of normalizing flows in performing fast, high-fidelity simulation on detector geometries that are ~ 10 - 100 times higher granularity than previously considered.

연구 동기 및 목표

• 높은 검출기 세분화에서 LHC 작업량에 대한 빠르고 정확한 칼로리미터 샤워 시뮬레이션의 필요를 동기화합니다.
• 레이어별 패턴을 학습하여 normalizing flows를 대규모 칼로리미터 데이터셋에 확장하는 기억 효율적인 유도형 모델을 개발합니다.
• 교사-학생 증류를 활용하여 속도 향상을 유지하면서도 충실도를 희생하지 않고 샘플링을 가속합니다.

제안 방법

• 샤워 생성을 세 가지 플로우로 분해합니다: Flow-1은 입사 에너지에 조건화된 전체 층 에너지를 모델링하고, Flow-2는 E_inc 및 E1에 조건화된 첫 층에서의 단위 정상화 에너지를 모델링하며, Flow-3은 이전 층과 에너지에 조건화된 이후 층들의 단위 정상화 에너지를 모델링합니다.
• 교사 흐름은 합리적 이차 스플라인(RQS) 변환과 MADE 조건 네트워크를 가진 Masked Autoregressive Flows (MAFs)로 학습합니다.
• PDD(Probability Density Distillation)를 적용하여 Flow-2 및 Flow-3의 학생으로서 빠른 샘플링의 IAF(Inverse Autoregressive Flows)를 교사 MAF를 모방하도록 학습합니다.
• 생성된 정규화 패턴(프록시 에너지)에서 에너지 임계값화를 강제하고 층 에너지를 계산하기 위해 후처리를 수행합니다.
• CaloChallenge2022 데이터셋 2와 3에서 레이어 유도형 접근법으로 학습하여 45개 층과 층당 최대 900개의 보셀(voxel)에서 학습할 수 있습니다.
• 검증 손실 및 KL 발산을 이용한 모델 선택과 함께 원 사이클 학습률 스케줄 및 맞춤형 학습 규정을 사용합니다.

Figure 2: Schematic of the three i CaloFlow flows. Solid lines are bidirectional — the direction into each flow denotes the density estimation step and the direction out of the flow denotes the sample generation step. Note that there are postprocessing steps (see main text) after each generation ste

실험 결과

연구 질문

• RQ1 유도적이고 층별(normalizing flow) 모델이 이전 방법들에 비해 훨씬 증가된 세분화에서도 고충실도 칼로리미터 샤워를 재현할 수 있는가?
• RQ2 PDD를 통한 교사-학생 증류가 대규모 고차원 칼로리미터 데이터에서 속도 향상을 가능하게 하면서도 충실도를 유지하는가?
• RQ3 iCal oFlow가 에너지 침착도 per 층, per 보셀 분포, 그리고 전체 샤워 형태에서 Geant4 및 이전의 빠른 시뮬레이션 방법과 비교해 어떤 성능을 보이는가?

주요 결과

• iCal oFlow는 데이터셋 2 및 3에서 고충실도 생성을 달성하여 층 에너지 및 보셀 수준 패턴에서 Geant4 분포와 일치합니다.
• 교사 MAF는 정확한 밀도 추정치를 제공하는 반면, IAF 학생들은 충실도에서 약간의 무역오프를 수반하더라도 훨씬 빠른 샘플링을 가능하게 합니다.
• 생성된 층 에너지 및 보셀 분포는 Geant4와 양호한 일치를 보이며, 정규화 및 전처리 선택으로 인해 초기 층과 매우 낮은 보셀 에너지에서 다소 예측된 편차가 있습니다.
• 스패러스 패턴과 방사형 링 보셀-에너지 분포는 여러 층과 검출기 기하에 걸쳐 iCal oFlow에 의해 잘 포착됩니다.
• 유도형 접근법은 전체 부피 normalizing flows에 비해 메모리 사용량을 감소시켜 고세분화 칼로리미터 시뮬레이션을 가능하게 합니다.

Figure 3: Illustration of OneCycle LR schedule with annihilation phase [ 26 ] .