[논문 리뷰] Muon Hunter: a Zooniverse project

R. Bird, M. K. Daniel외 9명|arXiv (Cornell University)|2018. 02. 24.

Particle Detector Development and Performance인용 수 5

한 줄 요약

Muon Hunter는 Zooniverse 플랫폼에서 시민 과학을 활용해 VERITAS 츄레노프 전파망원경 데이터의 뮤온 링 이미지를 분류함으로써 배경 제거 및 보정을 위한 고정밀도 컨volution 신경망(CNN) 훈련을 가능하게 한다. 97%의 테스트 정확도를 기록한 자원봉사자 레이블링 데이터셋은 표준 VERITAS 분석을 능가하며, 천체입자물리학에서 기계학습을 위한 커뮤니티 기반의 레이블링의 잠재력을 입증한다.

ABSTRACT

The large datasets and often low signal-to-noise inherent to the raw data of modern astroparticle experiments calls out for increasingly sophisticated event classification techniques. Machine learning algorithms, such as neural networks, have the potential to outperform traditional analysis methods, but come with the major challenge of identifying reliably classified training samples from real data. Citizen science represents an effective approach to sort through the large datasets efficiently and meet this challenge. Muon Hunter is a project hosted on the Zooniverse platform, wherein volunteers sort through pictures of data from the VERITAS cameras to identify muon ring images. Each image is classified multiple times to produce a "clean" dataset used to train and validate a convolutional neural network model both able to reject background events and identify suitable calibration data to monitor the telescope performance as a function of time.

연구 동기 및 목표

• 기계학습 훈련을 위한 대규모 저신호 대비 잡음 데이터셋 레이블링 과제를 해결한다.
• 매우 높은 에너지(VHE) 감마선 관측에서 감마선 신호를 모방하는 뮤온 링 이미지를 식별함으로써 배경 사건 제거를 향상시킨다.
• 알려진 뮤온 링 빛 프로파일을 이용해 깨끗한 뮤온 링 사건을 식별함으로써 절대 카메라 보정을 가능하게 한다.
• 감독 기반 기계학습 모델을 위한 고순도 훈련 데이터를 생성하기 위한 확장 가능한 시민 과학 기반 파이프라인을 개발한다.
• 자원봉사자 레이블링의 신뢰성을 표준 VERITAS 분석과의 비교 및 다수 분류자 간 공감도 평가를 통해 검증한다.

제안 방법

• 자원봉사자들이 VERITAS 천체망원경의 이미지를 뮤온 링이 포함되어 있는지 여부로 분류하는 Zooniverse 기반 시민 과학 프로젝트를 구현한다.
• 다중 투표 워크플로우를 적용: 각 이미지는 15명의 자원봉사자에게 분류되어 분류 신뢰도를 추정하고 개인의 실수를 줄인다.
• 투표 임계값 적용: 뮤온 존재에 대해 10표 이상이 있는 이미지는 뮤온 사건으로 레이블링하고, 나머지는 비뮤온으로 간주한다.
• 자원봉사자로부터의 공감 레이블링 데이터셋을 기준 데이터로 사용해 컨volution 신경망(CNN)을 훈련시킨다.
• 동일한 테스트 세트를 사용해 CNN의 성능을 표준 VERITAS 분석 파이프라인과 비교한다.
• 소셜 미디어 및 홍보 도구를 활용해 자원봉사자 참여를 유도하고, 프로젝트 설계 향상을 위한 인구통계적 통찰을 확보한다.

실험 결과

연구 질문

• RQ1 시민 과학이 고에너지 천체물리학에서 기계학습 모델의 고정밀도 훈련 레이블을 효과적으로 생성할 수 있는가?
• RQ2 자원봉사자 레이블링 데이터로 훈련된 CNN의 성능은 표준 VERITAS 분석 레이블링 데이터로 훈련된 모델과 비교해 어떻게 되는가?
• RQ3 자원봉사자 레이블링이 뮤온 링 이미지를 식별하는 데 있어 기존 분석 방법과 얼마나 일치하는가?
• RQ4 자원봉사자 간 공감 투표가 잡음이 많은 츄레노프 전파망원경 데이터에서 진짜 뮤온 링 사건을 신뢰성 있게 식별할 수 있는가?
• RQ5 시민 과학은 자동화된 파이프라인에서 놓친 예상치 못한 또는 이례적인 사건을 발견하는 데 어떤 역할을 할 수 있는가?

주요 결과

• Muon Hunter 자원봉사자 레이블링 데이터로 훈련된 CNN 모델은 약 97%의 테스트 정확도를 기록했으며, 표준 VERITAS 분석(약 95% 정확도)을 능가했다.
• 총 137,515장의 이미지 중 12%는 뮤온 링 존재를 모두 동의한 투표를 받았고, 73%는 모두 비뮤온으로 분류되었다.
• 이미지당 투표 분포를 분석한 결과, 15%의 이미지가 분열되거나 모호한 분류를 받았으며, 이는 복잡하거나 모호한 사건의 비중이 상당히 존재함을 시사한다.
• 본 프로젝트는 총 134,000장의 이미지에 대해 137,515회의 총 분류를 수행했으며, 다양한 배경을 가진 다수의 자원봉사자 참여를 보여주었다.
• 페이스북 및 전용 블로그를 포함한 소셜 미디어 홍보 활동은 55개 국가의 대상에 도달했으며, 특히 여성의 참여가 부족한 경향을 파악하는 데 기여했다.
• 자원봉사자 입력을 통해 희귀하거나 예상치 못한 이미지를 식별했으며, 이는 자동화된 파이프라인에서 놓칠 수 있는 이상 현상을 발견하는 데 인간이 개입하는 시스템의 잠재력을 입증한다.