[논문 리뷰] IACT event analysis with the MAGIC telescopes using deep convolutional neural networks with CTLearn

T. Miener, R. López-Coto외 7명|arXiv (Cornell University)|2021. 12. 03.

Astrophysics and Cosmic Phenomena인용 수 10

한 줄 요약

이 논문은 MAGIC 이미징 대기 찰렌코프 망원경에서 전체 이벤트 재구성에 대해 깊이 있는 합성곱 신경망(CNNs)을 CTLearn 프레임워크와 함께 처음으로 성공적으로 적용한 바 있다. 몬테카를로 시뮬레이션에서 얻은 정제된 이미지로 훈련하고 실제 크랩 성운 데이터로 검증한 CNN 기반 방법은 표준 MARS 분석과 유사한 감도를 보이며, 정제된 입력을 사용할 경우 ME 에너지 범위에서 43.6σ의 유의성 수준을 달성하여 관측 데이터에서 뛰어난 내구성과 높은 성능을 입증하였다.

ABSTRACT

The Major Atmospheric Gamma Imaging Cherenkov (MAGIC) telescope system consists of two imaging atmospheric Cherenkov telescopes (IACTs) and is located on the Canary island of La Palma. IACTs are excellent tools to inspect the very-high-energy (few tens of GeV and above) gamma-ray sky by capturing images of the air showers, originated by the absorption of gamma rays and cosmic rays by the atmosphere, through the detection of Cherenkov photons emitted in the shower. One of the main factors determining the sensitivity of IACTs to gamma-ray sources, in general, is how well reconstructed the properties (type, energy, and incoming direction) of the primary particle triggering the air shower are. We present how deep convolutional neural networks (CNNs) are being explored as a promising method for IACT full-event reconstruction. The performance of the method is evaluated on observational data using the standard MAGIC Analysis and Reconstruction Software, MARS, and CTLearn, a package for IACT event reconstruction through deep learning.

연구 동기 및 목표

• MAGIC 망원경을 활용한 딥러닝 기반 전체 이벤트 재구성의 실현 가능성과 성능 평가
• 감도, 배경 제거 능력, 에너지/각도 해상도 측면에서 CNN 기반 재구성과 표준 MARS 분석 파이프라인 간의 비교
• 실제 관측 데이터에 적용했을 때 원시 이미지와 정제된 이미지로 훈련한 CNN 모델의 내구성 평가
• CNN이 실제 환경 조건에서 전통적 방법과 유사한 감도를 달성할 수 있음을 입증
• CTLearn가 IACT 데이터 분석을 위한 확장 가능하고 종단 간(end-to-end) 딥러닝 프레임워크로서의 잠재력 탐색

제안 방법

• 분석 파이프라인은 표준 MARS 소프트웨어를 사용하여 몬테카를로 시뮬레이션과 실제 관측 데이터의 이벤트 재구성 및 캘리브레이션을 수행한다.
• 다양한 데이터 수준을 통합하기 위해 DL1-Data-Handler를 사용하여 데이터를 딥러닝 우아한 HDF5 형식으로 변환한다.
• 공간적 및 시간적 정보를 유지하기 위해 두 개의 MAGIC 망원경에서 온 이미지 데이터를 채널 방향으로 연결하여 훈련한 얇은 복소형 ResNet(TRN) 모델을 사용한다.
• 두 가지 훈련 전략을 평가: 하나는 야간 천체배경 노이즈를 포함한 원시 이미지 사용, 다른 하나는 MARS 기반 정제를 통해 노이즈가 많은 픽셀을 마스킹한 정제된 이미지 사용.
• 육각형 형태의 MAGIC 카메라에서 온 픽셀 데이터를 이중선형 보간을 통해 직사각형 격자로 재맵핑하여 직접 CNN 처리를 가능하게 한다.
• TensorFlow 기반의 CTLearn 프레임워크를 사용하여 모델 훈련, 추론 및 전체 이벤트 재구성 수행하며, 품질 컷은 모두 MARS 분석 기준과 정확히 일치시킨다.

실험 결과

연구 질문

• RQ1 딥 컨volution 신경망이 실제 MAGIC 망원경 관측 데이터에서 표준 MARS 파이프라인과 유사한 전체 이벤트 재구성 성능을 달성할 수 있는가?
• RQ2 원시 이미지와 정제된 이미지 입력 간의 선택이 실제 데이터에서 CNN 기반 IACT 재구성의 내구성과 감도에 어떤 영향을 미치는가?
• RQ3 동일한 크랩 성운 데이터셋에 적용했을 때 CNN 기반 분석의 감도는 표준 MARS 분석과 비교해 어떠한가?
• RQ4 훈련 시 정제된 이미지를 사용하면 CNN 모델의 실제 관측 조건에 대한 일반화 능력이 향상되는가?
• RQ5 CTLearn 프레임워크는 전통적인 IACT 분석 파이프라인에 대한 실현 가능한 종단 간 딥러닝 대안이 될 수 있는가?

주요 결과

• 정제된 이미지로 훈련한 CNN 기반 분석은 ME 범위(>250 GeV)에서 크랩 성운에 대해 43.6σ의 유의성 수준을 달성하였으며, 이는 표준 MARS 분석의 43.0σ와 유사하다.
• 정제된 이미지로 훈련한 CNN 기반 방법의 감도는 ME 범위에서 0.69±0.05% Crab로 측정되었으며, 이는 표준 MARS 분석의 0.70±0.05% Crab와 유사한 감도를 보였다.
• 원시 이미지로 훈련한 CNN은 성능이 저하되었으며, 감도는 0.97±0.08% Crab, 유의성은 36.5σ로 낮아져 입력 데이터의 노이즈에 민감함을 보였다.
• 정제된 이미지를 사용함으로써 배경 변동에 대한 내구성이 크게 향상되었으며, MC 프로톤 시뮬레이션과 실제 오프소스 데이터 모두에서 뛰어난 배경 제거 능력을 입증하였다.
• 특히 정제된 입력을 사용한 경우, CNN 기반 방법의 에너지 및 각도 해상도는 표준 MARS 분석과 경쟁 가능했으며, 해상도 곡선을 통해 이를 확인할 수 있었다.
• 결과적으로, 정제된 이미지로 훈련한 CNN은 실제 관측 데이터에서 전통적 방법과 유사한 감도를 달성함을 입증하였으며, 향후 IACT 분석 파이프라인에 잠재적 적용 가능성을 확인하였다.