[논문 리뷰] Machine-Learning Compression for Particle Physics Discoveries

Jack H. Collins, Yifeng Huang외 3명|arXiv (Cornell University)|2022. 10. 20.

Particle physics theoretical and experimental studies인용 수 4

한 줄 요약

이 논문은 입자물리학에서 전체 콜라이더 이벤트를 손실 압축하기 위해 최적화된 운반 이론을 사용하는 $\beta$-VAE 기반의 기계학습 기반 압축 프레임워크를 제안한다. 이는 다양한 압축 수준에서 고해상도 재구성 가능성을 보장하며, 부분 트리거 데이터를 초월해 신호 모델을 식별할 수 있는 특징을 유지한다. $\beta \approx 10^{-3}$에서 두 개의 디마이온 공명 신호를 구분하는 데 AUC >0.9를 달성하여, 모델에 종속되지 않는 발견에 유용함을 입증한다.

ABSTRACT

In collider-based particle and nuclear physics experiments, data are produced at such extreme rates that only a subset can be recorded for later analysis. Typically, algorithms select individual collision events for preservation and store the complete experimental response. A relatively new alternative strategy is to additionally save a partial record for a larger subset of events, allowing for later specific analysis of a larger fraction of events. We propose a strategy that bridges these paradigms by compressing entire events for generic offline analysis but at a lower fidelity. An optimal-transport-based $β$ Variational Autoencoder (VAE) is used to automate the compression and the hyperparameter $β$ controls the compression fidelity. We introduce a new approach for multi-objective learning functions by simultaneously learning a VAE appropriate for all values of $β$ through parameterization. We present an example use case, a di-muon resonance search at the Large Hadron Collider (LHC), where we show that simulated data compressed by our $β$-VAE has enough fidelity to distinguish distinct signal morphologies.

연구 동기 및 목표

• 현재 트리거 시스템이 대부분의 이벤트, 특히 복잡하거나 희귀한 특징을 가진 이벤트를 기각하는 데서 비롯되는 한계를 해결하기 위해.
• 전체 이벤트와 부분 이벤트 기록 전략 사이의 격차를 메우기 위해 다양한 정밀도로 전체 이벤트를 손실 압축할 수 있도록 하기 위해.
• 다양한 후속 분석에 적합한 압축된 표현을 재학습 없이 자동으로 학습할 수 있는 기계학습 방법을 개발하기 위해.
• 압축된 이벤트 데이터를 사용해 모델에 종속되지 않는 새로운 물리 시나리오의 감지 및 식별을 가능하게 하기 위해.

제안 방법

• 이 방법은 2-Wasserstein 거리의 근사치로 Sinkhorn 알고리즘을 사용한 최적 운반 기반 재구성 가능성을 보장하는 손실 함수를 갖는 변동형 오토인코더(VAE)를 사용한다.
• 입력 이벤트는 각 이벤트의 총 횡방향 운동량 $H_T$로 정규화된 입자 3차원 운동량 벡터($p_T/HT, \eta, \phi$)의 점군(point cloud)으로 표현된다.
• VAE는 재구성 정밀도와 잠재 공간의 압축 정도 사이의 균형을 제어하는 조절 가능한 하이퍼파rameter $\beta$를 사용한다.
• 다양한 $\beta$ 값에 동시에 효과적으로 작동하도록 다중 목표 학습 전략을 사용하여, 각 압축 수준에 맞게 별도로 재학습할 필요가 없도록 한다.
• 에코더는 Deepsets/입자 흐름 네트워크(PFN)이며, 디코더는 잠재 코드를 다시 재구성된 이벤트 점군으로 매핑하는 밀집 신경망이다.
• 재구성 손실은 $L = \langle S(x,x'(z))/\beta + D_{\text{KL}}(q(z|x)\|p(z)) \rangle_{p(x)}$로 정의되며, 여기서 $S$는 Sinkhorn로 근사된 지구 이동 거리이다.

실험 결과

연구 질문

• RQ1 재학습 없이도 단일의 파arameterized VAE 모델이 여러 정밀도 수준에서 전체 콜라이더 이벤트를 압축할 수 있는가?
• RQ2 압축된 이벤트 데이터가 부분 이벤트 데이터만으로는 구분할 수 없는 두 개의 다른 신물리 신호 모델을 구분하는 데 충분한 정보를 유지하는가?
• RQ3 압축 정밀도($\beta$로 제어)가 재구성된 이벤트의 신호 분류에 대한 식별 능력에 어떻게 영향을 미치는가?
• RQ4 압축된 표현의 효과적인 정보량(비트 단위)은 얼마이며, 이는 $\beta$에 따라 어떻게 변화하는가?
• RQ5 압축된 데이터가 $H_T$ 또는 디마이온 질량과 같은 표준 관측량을 초월해 신호-배경 분리 성능을 향상시킬 수 있는가?

주요 결과

• VAE는 조절 가능한 정밀도 파rameter $\beta$를 통해 효과적인 압축을 달성하며, $\beta \lesssim 10^{-2}$일 때 효과적인 자유도 수의 평탄한 구간이 나타나, 안정적인 표현 학습을 의미한다.
• $\beta \approx 10^{-3}$일 때 재구성된 이벤트는 두 개의 디마이온 공명 신호 모델을 AUC > 0.9로 효과적으로 분리할 수 있는 충분한 정보를 유지한다. 이는 부분 트리거 데이터만을 사용할 경우(AUC = 0.71)보다 뚜렷이 뛰어난 성능을 보인다.
• 잠재 공간의 KL 발산은 $\beta$가 증가함에 따라 감소하며, 열용량 $C_{\text{KL}}$은 $\beta \approx 10^{-4}$에서 급격히 감소하여 과적합 및 일반화 능력 상실을 나타낸다.
• $\beta \lesssim 10^{-2}$일 때 잠재 표현의 효과적인 자유도 수는 $\sim 2C \approx 100$으로 안정화되며, 이는 이벤트 구조의 강력하고 저차원의 표현임을 시사한다.
• 이 방법은 특히 표준 관측량이 다중제트 배경과의 신호를 구분하지 못하는 경우인 어둠의 샤워 신호와 같은 시나리오에서 모델에 종속되지 않는 새로운 물리 감지 능력을 제공한다.
• $H_T$와 디마이온 질량 관측량과 함께 압축된 이벤트 데이터를 조합하면 단일 관측량을 초월해 신호 분리 성능을 향상시키며, 상호보완적인 유용성을 입증한다.