[논문 리뷰] A citizen-science approach to muon events in imaging atmospheric Cherenkov telescope data: the Muon Hunter

Q. Feng, J. F. Jarvis|arXiv (Cornell University)|2017. 08. 21.

Astrophysics and Cosmic Phenomena참고 문헌 6인용 수 4

한 줄 요약

이 논문은 Zooniverse에서 수행되는 시민 과학 프로젝트인 Muon Hunter를 제시하며, VERITAS 이미징 대기 찰렌코프 망원경 데이터에서의 뮤온 이벤트를 자원봉사자들이 분류한 결과를 바탕으로, 뮤온 링 탐지 성능을 향상시키기 위해 컨volutional 신경망(CNN)을 훈련시킨다. 이 모델은 시민 과학 데이터를 기반으로 한 레이블을 사용해 테스트 정확도 97%를 달성했으며, 기존의 표준 분석 데이터를 기반으로 훈련된 이전 CNN보다 성능이 뛰어났다.

ABSTRACT

Event classification is a common task in gamma-ray astrophysics. It can be treated with rapidly-advancing machine learning algorithms, which have the potential to outperform traditional analysis methods. However, a major challenge for machine learning models is extracting reliably labelled training examples from real data. Citizen science offers a promising approach to tackle this challenge. We present "Muon Hunter", a citizen science project hosted on the Zooniverse platform, where VERITAS data are classified multiple times by individual users in order to select and parameterize muon events, a product from cosmic ray induced showers. We use this dataset to train and validate a convolutional neural-network model to identify muon events for use in monitoring and calibration. The results of this work and our experience of using the Zooniverse are presented.

연구 동기 및 목표

• 기계 학습을 위한 레이블이 신뢰성 있게 확보된 훈련 데이터 확보 문제를 해결하기 위해.
• 이미징 대기 찰렌코프 망원경 데이터에서 뮤온 링 이벤트를 위한 확장 가능한, 공동체 기반의 레이블링 방법을 개발하기 위해.
• 시민 과학 레이블을 기반으로 훈련된 컨volutional 신경망(CNN)을 활용해 뮤온 이벤트 분류 성능을 향상시키기 위해.
• 자원봉사자들의 합의를 활용해 고성능의 훈련 데이터를 생성할 수 있는지 여부를 탐색하기 위해.
• 표준 분석과 시민 과학을 통해 식별된 뮤온 이벤트를 활용해 IACT를 교정하고 모니터링하기 위해.

제안 방법

• Zooniverse 플랫폼의 자원봉사자들이 16,000장의 VERITAS 이미지를 분류하여 뮤온 링 후보를 표시하고, 링의 완전성과 포함 여부에 대한 추가 질문에 응답했다.
• 각 이미지에 대해 15회의 독립적인 분류가 이루어져 투표 집계를 통한 통계적 신뢰도 추정이 가능했다.
• 뮤온 존재에 대해 10표 이상이 있는 이미지는 뮤온 이벤트로, 나머지는 비뮤온 이벤트로 간주하여 훈련용 레이블을 부여했다.
• 원래의 499픽셀의 육각형 PMT 레이아웃에서 유도된 오버샘플링된 54×54 픽셀 이미지에 기반해 VGG 스타일의 CNN을 훈련시켰다.
• CNN은 평균 풀링, 드롭아웃, 이중 완전 연결 헤드를 사용해 뮤온 대 비뮤온 이벤트에 대한 이진 분류를 수행했다.
• 모델 성능 평가는 테스트 정확도를 기준으로 하였으며, 표준 VEGAS 분석 파이프라인에서 생성된 레이블을 기반으로 훈련된 CNN과의 비교를 실시했다.

실험 결과

연구 질문

• RQ1 시민 과학이 이미징 대기 찰렌코프 망원경 데이터에서 뮤온 링 이벤트에 대해 신뢰성 있고 고성능의 레이블을 제공할 수 있는가?
• RQ2 시민 과학 레이블을 기반으로 훈련된 CNN 모델의 성능은 표준 분석 레이블을 기반으로 훈련된 모델보다 어떻게 다를까?
• RQ3 자원봉사자 간의 합의 투표가 레이블링의 모호성을 줄이고 훈련 데이터의 품질을 향상시킬 수 있는가?
• RQ4 자원봉사자 입력을 통해 식별된 덜 노이즈가 섞인 단일 뮤온 링 이미지를 활용할 경우, 뮤온 링 탐지 성능을 얼마나 향상시킬 수 있는가?
• RQ5 동일한 데이터를 기반으로 회귀 모델을 효과적으로 훈련시켜 뮤온 링 반경을 예측함으로써 IACT의 교정 정밀도를 향상시킬 수 있는가?

주요 결과

• 시민 과학 레이블을 기반으로 훈련된 CNN 모델은 약 97%의 테스트 정확도를 달성했으며, 이는 이전의 표준 VEGAS 레이블을 기반으로 훈련된 모델의 약 95% 정확도를 초월했다.
• 자원봉사자 분류의 분포를 분석한 결과, 85%의 이미지에서 투표가 일치했으며, 이는 레이블링의 높은 일관성과 신뢰도를 시사했다.
• 뮤온 존재에 대해 10표 이상이 있는 이미지를 새로운 훈련 세트로 활용함으로써, 더 깔끔하고 모호성이 적은 데이터셋을 확보해 모델 훈련에 활용했다.
• 본 프로젝트는 시민 과학이 고에너지 천문학에서 기계 학습의 데이터 레이블링 병목 문제를 효과적으로 해결할 수 있음을 입증했다.
• 더 큰, 시민 과학으로 향상된 데이터셋을 기반으로 훈련된 모델는 일반화 성능이 향상되어 이전의 작은 데이터셋 대비 과적합이 줄어든 것으로 나타났다.
• 저자들은 단일 뮤온 링 이미지를 기반으로 회귀 모델을 훈련시켜 링 반경을 예측하는 길을 제시했으며, 이는 IACT의 교정 정밀도 향상에 기여할 수 있다.