[논문 리뷰] `That looks weird' - evaluating citizen scientists' ability to detect unusual features in ATLAS images of LHC collisions

A. J. Barr, Charles William Kalderon외 1명|arXiv (Cornell University)|2016. 10. 07.

Particle physics theoretical and experimental studies참고 문헌 16인용 수 6

한 줄 요약

이 연구는 대형 강입자 충돌기에서의 ATLAS 검출기 이미지에서 비전문가 시민 과학자들이 이상한 입자 붕괴 특징을 감지할 수 있는지 평가한다. HiggsHunters.org 프로젝트의 자료를 바탕으로 32,000명이 넘는 자원봉사자가 39,000장의 이미지에서 총 120만 개의 특징을 분류하였으며, 이는 ATLAS의 자동화된 알고리즘과 비교해도 유사한 감지 효율성과 거짓 양성률을 보였다—이는 새로운 물리학 신호, 특히 검출기의 '펀치스루'로 기인한 것으로 확인된 뮤온 제트 후보를 성공적으로 식별한 것이다.

ABSTRACT

Using data from the HiggsHunters.org project we investigate the ability of non-expert citizen scientists to identify long-lived particles, and other unusual features, in images of LHC collisions recorded by the ATLAS experiment. More than 32,000 volunteers from 179 countries participated, classifying 1,200,000 features of interest on about 39,000 distinct images. We find that the non-expert volunteers are capable of identifying the decays of long-lived particles with an efficiency and fake-rate comparable to that of the ATLAS algorithms. Volunteers also picked out events with unexpected features, including what appeared to be an event containing a jet of muons.

연구 동기 및 목표

• 비전문가 시민 과학자들이 대형 강입자 충돌기의 실제 ATLAS 검출기 이미지에서 이상한 입자 붕괴 특징을 효과적으로 감지할 수 있는지 평가하는 것.
• 표준모형을 초월한 이론에서 중요한 서명인 장수 입자 감지를 위해 시민 과학자의 성능을 평가하는 것.
• 훈련되지 않은 자원봉사자들이 고에너지 물리학 데이터에서 예상치 못한 또는 이례적인 특징을 감지할 수 있는지 조사하는 것—이는 새로운 물리학을 드러내는 데 기여할 수 있다.
• 대규모 대중 참여가 입자물리학 데이터 분석에 실현 가능하고 과학적 가치가 있는지 탐색하는 것.

제안 방법

• Zooniverse 플랫폼에 호스팅된 HiggsHunters.org 시민 과학 플랫폼을 활용하여 비전문가 자원봉사자들이 양성자-양성자 충돌의 ATLAS 검출기 이미지를 분류하도록 유도하였다.
• 장수 입자가 $\phi \to b\bar{b}$ 또는 $\phi \to \tau^+\tau^-$로 붕괴하는 시뮬레이션된 충돌 사건을 실제 검출기 노이즈와 피로율 조건에 통합하였다.
• ATLAS Atlantis 이벤트 디스플레이를 사용하여 시각화를 생성하였으며, 중심 검출기의 가시성을 향상시키고 시각적 혼잡함을 줄이기 위해 비선형 피셔아이 전환을 적용하였다.
• 해당 이미지에서 $p_{\rm T} > 2$ GeV인 트랙, 최소 3개 이상의 트랙을 가진 병합점, $p_{\rm T} > 10$ GeV인 뮤온만 표시하도록 이미지 필터링을 적용하여 명확성 향상과 노이즈 감소를 도모하였다.
• 시민 과학자 분류 결과를 ATLAS 공식 재구성 알고리즘의 결과와 비교하여 감지 성능을 훈련하고 검증하였다.
• 자원봉사자들이 이상한 이벤트를 신고한 후속 분석을 수행하였으며, 뮤온 제트 후보를 포함하여 물리적 기원을 규명하였다.

실험 결과

연구 질문

• RQ1 비전문가 시민 과학자들이 ATLAS 검출기 이미지에서 장수 입자의 이차 병합점 특징을 감지할 수 있는가? 이 성능은 자동화된 알고리즘과 유사한가?
• RQ2 LHC 충돌 데이터에서 이례적인 특징을 감지할 때 시민 과학자들의 거짓 양성률은 얼마인가?
• RQ3 훈련되지 않은 자원봉사자들이 뮤온 제트와 같은 표준모형 예측을 벗어난 특징을 식별할 수 있는가?
• RQ4 대규모 시민 과학 참여의 집단적 분류 행동은 고에너지 물리학에서 전문가 중심 분석과 비교해 어떻게 다를까?

주요 결과

• 179개 국가에서 온 32,000명이 넘는 시민 과학자들이 39,000장의 고유한 ATLAS 이미지에서 총 120만 개의 특징을 분류하여 높은 참여도와 확장성을 입증하였다.
• 시민 과학자들은 장수 입자 붕괴 감지에 있어 ATLAS 재구성 알고리즘과 유사하거나 일부 경우 더 뛰어난 감지 효율성과 거짓 양성률을 달성하였다.
• 자원봉사자들은 다수의 뭉쳐진 뮤온을 포함한 제트 후보 이벤트를 성공적으로 식별하였으며, 처음에는 새로운 물리학 신호로 추정되었으나 나중에 알려진 검출기 효과인 '펀치스루'로 확인되었다.
• 참여자들을 대상으로 실시한 설문 조사에서 과학적 참여도가 높고 향후 LHC 관련 시민 과학 프로젝트에 대한 높은 관심을 보였다.
• 희귀하고 이례적인 특징 감지에서 대중의 집단적 분류 능력이 개인 전문가 분석을 뛰어넘었으며, 이는 복잡한 데이터에서 인간의 패턴 인식 능력의 가치를 입증한다.
• 본 연구는 비전문가 자원봉사자들이 실제 LHC 데이터에서 이상 현상을 식별함으로써 실제 입자물리학 발견에 의미 있는 기여를 할 수 있음을 확인한다.