[논문 리뷰] Variational Autoencoders for Generative Modelling of Water Cherenkov Detectors

Abhishek Abhishek, Wojciech Fedorko외 3명|arXiv (Cornell University)|2019. 11. 01.

Neutrino Physics Research참고 문헌 19인용 수 5

한 줄 요약

이 논문은 뉴트리노 실험을 위한 시뮬레이션된 워터 케렌코프 검출기 데이터의 생성 분포를 모델링하기 위해 변동형 오토인코더(VAEs)와 노멀라이징 플로우(NFs)를 제안한다. VAE 기반의 준감독 학습 접근법은 CP 위반 탐색에서 배경을 줄이는 데 핵심적인 전자 및 감마 이벤트를 구분하는 데 최신 기술 수준의 성능을 달성하며, 동시에 합성 데이터 생성과 잠재 공간 내삽을 가능하게 한다.

ABSTRACT

Matter-antimatter asymmetry is one of the major unsolved problems in physics that can be probed through precision measurements of charge-parity symmetry violation at current and next-generation neutrino oscillation experiments. In this work, we demonstrate the capability of variational autoencoders and normalizing flows to approximate the generative distribution of simulated data for water Cherenkov detectors commonly used in these experiments. We study the performance of these methods and their applicability for semi-supervised learning and synthetic data generation.

연구 동기 및 목표

• CP 위반 탐색과 단백질 붕괴 탐색에서 핵심 배경이 되는 워터 케렌코프 검출기에서 전자 및 감마 이벤트를 구분하는 데 도전 과제를 해결한다.
• 다음 세대 검출기인 Hyper-K와 NuPRISM에서 실험적 불확실성을 완화하기 위한 데이터 기반 접근법을 개발하여 시뮬레이션된 데이터에서 학습한다.
• 제한된 레이블 데이터로 분류 성능을 향상시키기 위해 깊이 있는 생성 모델을 활용한 준감독 학습의 가능성을 탐색한다.
• 검출기 시뮬레이션 및 분석을 위해 합성 데이터 생성과 잠재 공간 내삽의 가능성을 조사한다.

제안 방법

• 16×40 mPMT 어레이를 갖춘 워터 케렌코프 검출기 기하구조에서 각 입자 유형(e⁻, μ⁻, γ)에 대해 300만 개의 시뮬레이션 이벤트를 WCSim를 사용해 생성하였다.
• 검출기 이미지의 잠재 표현을 학습하기 위해 평균 필드 가우시안 사후분포와 등방성 가우시안 사전분포를 갖는 컨volutional 네트워크 기반 VAE를 사용하였다.
• 후행 근사 개선을 위해 노멀라이징 플로우(플라너 플로우)를 적용하였지만, 표준 VAE 대비 성능 향상은 관찰되지 않았다.
• VAE의 사전 훈련과 함께 결정론적 인코더 출력에 대해 다층퍼셉트론을 미세조정하여 준감독 모델을 훈련시켰다.
• VAE 목표 함수에서 재구성에 대해 음의 평균 제곱오차(MSE) 손실을, 정규화에 대해 쿨백-라이블러 발산을 사용하였다.
• 특성 공간(azimuthal angle 및 energy)에서 k-최근접 이웃을 사용하여 잠재 공간 내삽을 수행하여 분리 가능성과 연속성을 평가하였다.

실험 결과

연구 질문

• RQ1 변동형 오토인코더는 뉴트리노 이벤트에 대한 워터 케렌코프 검출기 반응의 복잡한 데이터 분포를 효과적으로 모델링할 수 있는가?
• RQ2 표준 VAE에 비해 노멀라이징 플로우를 통합함으로써 VAE의 생성 모델링 성능이 검출기 시뮬레이션 데이터에서 향상되는가?
• RQ3 제한된 레이블 데이터로 인해 준감독 VAE 기반 모델이 완전히 감독된 모델에 비해 전자 및 감마 이벤트 분류 성능을 얼마나 향상시킬 수 있는가?
• RQ4 학습된 잠재 공간이 에너지 및 방향성과 같은 물리적 이벤트 특성을 반영하는 의미 있는 내삽을 지원할 수 있는가?
• RQ5 VAE는 데이터 증강 및 시뮬레이션에 유용한 현실적인 합성 검출기 이미지를 생성할 수 있는가?

주요 결과

• VAE는 재구성된 이미지에서 위치, 모양, 크기와 같은 케렌코프 링의 핵심 특징을 성공적으로 포착하였지만, 날카기 정도는 떨어지고 어두운 노이즈와 같은 미세한 구조는 누락되었다.
• 사전 분포에서 유래한 합성 샘플은 유사한 재구성 오류와 가끔 발생하는 왜곡을 보이며, 사전-사후 분포의 괴리가 있음을 시사한다.
• 잠재 공간에서 에너지 축을 따라 선형 내삽은 부드러운 전이를 보였지만, 애지무각 축을 따라 내삽은 그렇지 않았으며, 이는 각도 특성의 비선형성 또는 비연속성 표현을 시사한다.
• 준감독 VAE-MLP 모델은 낮은 데이터 환경에서 완전히 감독된 CNN보다 우수한 성능을 보였다: 11,250개의 레이블 예제에서 50% 전자 신호 효율일 때 감마 배경 제거율이 77.6%였고, CNN는 76.4%였다.
• 45,000개의 레이블 예제에서 준감독 모델은 80% 전자 신호 효율일 때 55.9%의 감마 배경 제거율을 달성하여 완전히 감독된 CNN(49.9%)를 초월했으며, 이는 이전에 우도 비율 방법으로는 불가능했던 γ 대 e⁻ 분류를 가능하게 하였다.
• 노멀라이징 플로우는 표준 VAE에 비해 유의미한 성능 향상을 가져오지 못했으며, 이는 이 설정에서 사후 근사의 병목 현상이 주요 제약 요소가 아닐 수 있음을 시사한다.