[논문 리뷰] Application of a Convolutional Neural Network for image classification to the analysis of collisions in High Energy Physics

Celia Fernández Madrazo, Ignacio Heredia외 2명|arXiv (Cornell University)|2017. 08. 23.

Particle physics theoretical and experimental studies인용 수 4

한 줄 요약

이 논문은 고에너지 물리학 충돌을 위한 새로운 이미지 기반 표현 방식을 제안한다—입자 운동량과 제트 데이터를 224×224×3 RGB 이미지로 변환하여, 사전 훈련된 컨volution 뉴럴 네트워크(CNN), 예를 들어 ResNet50를 사용한 이벤트 분류에 적용할 수 있도록 한다. 이 방법은 탑 쿼크 쌍(ttbar) 이벤트를 배경 과정(Drell-Yan 및 W+jets)과 구별할 때 약 95%의 분류 효율을 달성하며, 기존의 피드포워드 신경망보다 신호 대 배경 분류에서 뛰어난 성능을 보인다.

ABSTRACT

The application of deep learning techniques using convolutional neural networks to the classification of particle collisions in High Energy Physics is explored. An intuitive approach to transform physical variables, like momenta of particles and jets, into a single image that captures the relevant information, is proposed. The idea is tested using a well known deep learning framework on a simulation dataset, including leptonic ttbar events and the corresponding background at 7 TeV from the CMS experiment at LHC, available as Open Data. This initial test shows competitive results when compared to more classical approaches, like those using feedforward neural networks.

연구 동기 및 목표

• 딥 러닝 기법, 특히 컨volution 뉴럴 네트워크(CNN)를 고에너지 물리학의 입자 충돌 분류에 적용할 수 있는지 탐색하는 것.
• 운동량과 제트 데이터를 224×224×3 RGB 이미지로 변환하여 입자 물리학 이벤트의 직관적인 시각적 표현을 개발하는 것.
• 피드포워드 신경망과 같은 전통적인 기계 학습 방법과 비교하여 CNN의 복잡한 충돌 이벤트 분류 성능을 평가하는 것.
• LHC의 CMS 실험에서 실시간 시뮬레이션 데이터를 사용하여 CNN의 신호-배경 분류 잠재력을 평가하는 것.

제안 방법

• 시뮬레이션된 프로톤-프로톤 충돌에서의 입자 수준 관측량(운동량, 제트 정보)을 커스텀 파이썬 파이프라인을 사용해 224×224×3 RGB 이미지로 변환하는 것.
• ImageNet 사전 훈련된 가중치를 사용한 사전 훈련된 ResNet50 아키텍처를 사용해 입자 물리학 이미지 데이터에 대해 전이 학습을 수행하는 것.
• 고성능 GPU에서 Adam 옵timizer를 사용해 40 에포크 동안 훈련을 수행하며, 훈련 중에 데이터 증강(회전, 이동, 반사)을 적용하는 것.
• 훈련, 검증, 테스트 세트를 표준 80/10/10 분할로 사용하여 모델 평가의 신뢰성과 과적합 방지를 확보하는 것.
• ResNet50 입력 요구사항과 호환되도록 입력을 224×224 픽셀로 표준화하기 위해 이미지 크기 조정을 수행하는 것.
• 성능 비교를 위해 500개의 뉴런을 가진 5층 피드포워드 신경망(FNN)과 50% 드롭아웃을 사용하여 상대적 성능을 평가하는 것.

실험 결과

연구 질문

• RQ1 입자 데이터를 이미지로 표현했을 때, 컨volution 뉴럴 네트워크가 고에너지 물리학 충돌 이벤트를 효과적으로 분류할 수 있는가?
• RQ2 ttbar 이벤트를 배경 과정과 구별할 때 CNN의 성능은 기존의 피드포워드 신경망과 비교해 어떻게 다른가?
• RQ3 이미지 기반 표현 방식이 정확한 분류에 필요한 물리적 정보를 어느 정도 유지하는가?
• RQ4 ImageNet 사전 훈련된 가중치를 사용한 전이 학습이 시뮬레이션된 LHC 데이터에서 분류 성능을 향상시키는가?

주요 결과

• CNN은 ttbar+jets 이벤트를 Drell-Yan 및 W+jets 배경과 50/50 분할에서 분류할 때 신호 대 배경 분류 효율이 95.4%를 기록했다.
• CNN은 ttbar+jets 이벤트의 95%를 정확히 분류했으며, W+jets 이벤트의 4%와 Drell-Yan 이벤트의 5%만 신호로 잘못 분류했다.
• 반면 피드포워드 신경망은 더 낮은 94.6%의 신호 대 배경 효율을 기록하여, 이 특정 작업에서 CNN의 성능이 뛰어남을 시사한다.
• FNN이 관측 질량 태깅과 같은 더 단순한 분류 작업에서 더 나은 성능을 보였음에도 불구하고, CNN은 신호 대 배경 분류에서 FNN을 능가했다.
• 이미지 표현 방식은 추가 입자를 위해 원을 단순히 추가함으로써 길이가 변하는 이벤트를 직관적으로 다룰 수 있었고, FNN처럼 0 패딩이 필요한 벡터 기반 접근 방식과는 달리 유리했다.
• JSON 기반 데이터 추출 및 이미지 생성을 포함한 전처리 파이프라인은 효과적이며 재사용 가능했으며, 코드는 공개되어 있었다.