[논문 리뷰] Machine Learning approach to boosting neutral particles identification in the LHCb calorimeter

A. S. Boldyrev, V. Chekalina외 1명|arXiv (Cornell University)|2019. 12. 18.

Particle physics theoretical and experimental studies참고 문헌 2인용 수 1

한 줄 요약

이 논문은 LHCb 전자기 칼로리미터(ECAL)에서 높은 운동량을 가진 광자와 융합된 중성 π⁰ 간의 식별을 향상시키기 위한 기계학습 기반 접근법을 제안한다. 원시 에너지 분포를 5×5 ECAL 및 프리샤워(PS) 셀 창에 입력 특징으로 사용하고, XGBoost 기반 분류기로 학습함으로써 AUC가 0.97에 도달하여, 광자 효율이 98%일 때 π⁰가 광자로 잘못 식별되는 가짜 비율을 60%에서 30%로 감소시켰으며, 에너지 의존성이 거의 없음을 확인하였다.

ABSTRACT

We present a new approach to identification of boosted neutral particles using Electromagnetic Calorimeter (ECAL) of the LHCb detector. The identification of photons and neutral pions is currently based on the geometric parameters which characterise the expected shape of energy deposition in the calorimeter. This allows to distinguish single photons in the electromagnetic calorimeter from overlapping photons produced from high momentum $\pi^0$ decays. The novel approach proposed here is based on applying machine learning techniques to primary calorimeter information, that are energies collected in individual cells around the energy cluster. This method allows to improve separation performance of photons and neutral pions and has no significant energy dependence.

연구 동기 및 목표

• LHCb ECAL에서 높은 운동량을 가진 광자와 융합된 중성 π⁰ 간의 분리를 향상시키기 위해, 현재 에너지 클러스터가 겹쳐져 발생하는 오식별 문제를 해결하고자 한다.
• 물리 기반 특징 공학을 피하고 원시 ECAL 및 프리샤워(PS) 셀 에너지 분포를 입력으로 사용하는 기계학습 모델을 개발하고자 한다.
• 물리 분석에서의 시스템적 불확실성을 줄이기 위해 에너지 의존성이 최소화된 분류 방법을 확보하고자 한다.
• 몽테카를로 시뮬레이션을 기반으로 한 성능 검증과 B⁰ → Kπγ 및 B⁰ → Kππ⁰ 붕괴에서의 실제 데이터 샘플을 활용한 성능 校정을 수행하고자 한다.
• 입력 변수에서 MC와 실제 데이터 간의 격차를 보완함으로써, 시뮬레이션에서 학습된 모델을 실제 데이터로 안정적으로 이식할 수 있도록 보장하고자 한다.

제안 방법

• 모델은 클러스터 시드 주변의 ECAL 및 PS 셀에서의 원시 에너지 분포를 5×5 창으로 사용하여 총 50개의 특징을 입력으로 사용한다.
• XGBoost 분류기는 이러한 원시 에너지 값들을 기반으로 단일 광자와 융합된 π⁰ 붕괴를 구분하도록 학습된다.
• ModelGym을 통한 초모수 튜닝을 통해 최적화되었으며, 기본 XGBoost 설정은 트리 수 6000개, 최대 깊이 3, 학습률 0.05, 최소 자식 가중치 2이다.
• 성능 평가는 다양한 가로 에너지(ET) 구간에서 ROC 곡선과 효율 프로파일을 사용하여 평가된다.
• 교정은 실제 데이터 샘플을 사용하여 수행되며, 광자를 위한 B⁰ → Kπγ 및 π⁰를 위한 B⁰ → Kππ⁰(중간자 J/ψ → μ⁺μ⁻를 통한)로 신호 이벤트의 운동역학적 특성과 유사하게 유지된다.
• 기하 클러스터 특징을 사용하는 기준 기반 방법과의 비교를 위해, 몽테카를로 샘플과 실제 데이터 교정을 모두 수행하여 평가하였다.

실험 결과

연구 질문

• RQ1 원시 ECAL 및 PS 에너지 분포를 기반으로 학습된 기계학습 모델이 기존의 기하학적 특징 기반 방법보다 광자와 융합된 π⁰를 더 잘 구분할 수 있는가?
• RQ2 제안된 기계학습 접근법이 입자 에너지의 가로 성분에 대해 거의 의존성이 없음을 보여주며, 물리 분석에서의 시스템적 불확실성을 줄일 수 있는가?
• RQ3 몽테카를로 시뮬레이션에서 학습된 모델이 실제 데이터에 적용되었을 때 성능은 어떻게 되며, 편향 없는 성능을 확보하기 위해 어떤 교정이 필요한가?
• RQ4 물리적 지식을 반영한 기하학적 특징 대비, 오직 원시 에너지 분포만을 사용하는 단순한 특징 무관 접근법이 더 뛰어난 분류 성능을 낼 수 있는가?
• RQ5 이 작업에 최적의 분류기 아키텍처(예: XGBoost 대 신경망)는 무엇이며, 다양한 부스팅 알고리즘 간의 성능 비교는 어떻게 이루어지는가?

주요 결과

• 새로운 XGBoost 기반 접근법은 기준 기반 방법의 AUC 0.89 대비 0.97을 기록하여 분류 성능 향상이 뚜렷하게 확인되었다.
• 광자 효율이 98%일 때, π⁰가 광자로 잘못 식별되는 가짜 비율이 기존 방법의 약 60%에서 새로운 방법으로 30%로 감소하였다.
• 새로운 접근법은 가로 에너지(ET) 구간 전반에서 평탄한 효율 프로파일을 보이며, 에너지 의존성이 거의 없음을 확인하여 시스템적 불확실성을 최소화하는 데 핵심적이다.
• 검토된 분류기 중 XGBoost가 신경망 구성(특히 3~4개의 은닉층을 가진 경우)보다 성능이 뛰어나며, 이는 특징의 복잡성이 부족해 성능이 저하되기 때문이다.
• B⁰ → Kπγ 및 B⁰ → J/ψK* → Kππ⁰를 포함한 실제 데이터 샘플을 통한 교정을 통해 모델의 강인함을 입증하였으며, 실제 환경 적용 가능성은 확인되었다.
• 물리 기반 특징 공학 없이 원시 에너지 분포만을 사용함으로써, 더 일반화 가능하고 이식 가능한 모델을 확보할 수 있었으며, 향후 중성 입자 식별 파이프라인에 통합하기에 적합하다.