[논문 리뷰] Pre-training strategy using real particle collision data for event classification in collider physics

T. Kishimoto, M. Morinaga외 2명|arXiv (Cornell University)|2023. 12. 12.

Particle Detector Development and Performance인용 수 6

한 줄 요약

이 논문은 CMS 오픈 데이터에서 확보한 실제 입자 충돌 데이터를 사용하여 셀프스태디드 전학습 전략을 제안함으로써 콜라이더 물리학에서 이벤트 분류 성능을 향상시킨다. 레이블이 없는 실제 데이터에서 입자 객체 유형을 마스킹하고 예측함으로써 모델은 유의미한 특징을 학습하게 되며, 이는 후속 분류 작업으로의 전이에 효과적으로 기여하여 레이블이 적은 경우 특히 성능을 크게 향상시킨다. 이는 저자료 환경에서 최신 기술 수준의 AUC 개선을 보여준다.

ABSTRACT

This study aims to improve the performance of event classification in collider physics by introducing a pre-training strategy. Event classification is a typical problem in collider physics, where the goal is to distinguish the signal events of interest from background events as much as possible to search for new phenomena in nature. A pre-training strategy with feasibility to efficiently train the target event classification using a small amount of training data has been proposed. Real particle collision data were used in the pre-training phase as a novelty, where a self-supervised learning technique to handle the unlabeled data was employed. The ability to use real data in the pre-training phase eliminates the need to generate a large amount of training data by simulation and mitigates bias in the choice of physics processes in the training data. Our experiments using CMS open data confirmed that high event classification performance can be achieved by introducing a pre-trained model. This pre-training strategy provides a potential approach to save computational resources for future collider experiments and introduces a foundation model for event classification.

연구 동기 및 목표

• 훈련 데이터 생성을 위한 몬테카를로 시뮬레이션에 대한 의존도를 최소화함으로써 콜라이더 물리학에서 계산 비용을 절감하는 것.
• 특히 새로운 물리 현상 탐색을 위한 연구에서 레이블이 부족한 상황에서도 이벤트 분류 성능을 향상시키는 것.
• 모의 데이터 대신 실제 충돌 데이터를 사용하여 이벤트 분류를 위한 이전에 학습된 기초 모델을 개발하는 것.
• 다양한 물리 과정 간에 전이 가능성과 일반화 능력을 평가하는 것.
• 실제 데이터를 기반으로 한 셀프스태디드 학습이 시뮬레이션 기반 전학습에 비해 경쟁 가능한 성능을 낼 수 있음을 보여주는 것.

제안 방법

• 실제 CMS 오픈 데이터에서 확보한 입자 충돌 데이터를 사용하여, 입자 객체 유형을 마스킹하고 예측하는 셀프스태디드 학습 기법을 활용해 전학습을 수행한다.
• Transformer 기반의 딥러닝 모델을 사용하며, 전학습 및 피니팅 단계에서 공유된 임bedding 및 특징 추출 레이어를 적용한다.
• 크로스 엔트로피 손실과 코즈인 애너일링 학습률 스케줄링을 사용한 확률적 경사 하강법으로 모델을 훈련한다.
• 레이블이 있는 데이터를 사용하여 후속 이벤트 분류 작업에 대해 전학습된 인코더 및 특징 모듈을 피팅한다.
• 분류기 헤드는 레이어를 새로 초기화하여 학습하고, 하위 레이어는 전학습된 가중치로 초기화하여 학습된 표현을 활용한다.
• 실험은 NVIDIA A100 GPU를 탑재한 로컬 클러스터에서 수행되었으며, 약 90배치/초의 훈련 속도를 기록했다.

실험 결과

연구 질문

• RQ1 실제 충돌 데이터를 기반으로 한 셀프스태디드 전학습이 콜라이더 물리학에서 이벤트 분류 성능을 향상시킬 수 있는가?
• RQ2 실제 데이터 기반 전학습은 시뮬레이션 기반 전학습 대비 후속 분류 정확도에서 어떤 차이를 보이는가?
• RQ3 레이블이 있는 이벤트 수가 증가함에 따라 전학습의 성능 향상 효과가 감소하는가?
• RQ4 실제 데이터 기반 전학습이 다양한 물리 과정 간의 전이 능력에 얼마나 기여하는가?
• RQ5 전학습 데이터의 규모가 이벤트 분류 성능 향상에 어떤 영향을 미치는가?

주요 결과

• 약 10^4개의 레이블이 있는 경우 실데이터 기반 전학습이 AUC 성능을 크게 향상시켜 높은 데이터 효율성을 입증한다.
• 레이블이 있는 이벤트 수가 증가함에 따라 전학습의 성능 향상 효과가 감소하며, 약 10^6개 이벤트에서 성능 곡선이 수렴한다.
• 더 많은 전학습 데이터를 사용할수록 AUC 향상 폭이 커지며, 이는 더 큰 실데이터 세트가 더 큰 성능 향상 효과를 낼 수 있음을 시사한다.
• 대규모 몬테카를로 시뮬레이션을 사용하지 않고도 전학습된 모델이 높은 분류 성능을 달성할 수 있다.
• 실데이터를 전학습에 활용함으로써 시뮬레이션 과정에서 유도되는 편향을 줄이고, 시뮬레이션 관련 계산 오버헤드를 방지할 수 있다.
• 이 방법은 향후 콜라이더 실험에서 광범위한 시뮬레이션 기반 데이터 생성이 필요 없어지므로 계산 비용 절감 잠재력을 크게 지닌다.