[论文解读] Investigations of the Systematic Uncertainties in Convolutional Neural Network Based Analysis of Atmospheric Cherenkov Telescope Data

R. D. Parsons, Alison Mitchell+1 more|arXiv (Cornell University)|Mar 10, 2022

Astrophysics and Cosmic Phenomena被引用 5

一句话总结

本研究调查了用于大气切伦科夫望远镜数据背景抑制的卷积循环神经网络（CRNN）中的系统性不确定性。研究发现，相机中的噪声水平会显著影响伽马射线接受度——在极高噪声条件下，接受度变化可达50%，凸显了在模型训练过程中准确建模噪声的必要性，以确保在不同观测条件下性能稳定。

ABSTRACT

Machine learning, through the use of convolutional and recurrent neural networks is a promising avenue for the improvement of background rejection performance in imaging atmospheric Cherenkov telescopes. However, it is of paramount importance for science analysis that their performance remains stable against a wide range of observing conditions and instrument states. We investigate the stability of convolutional recurrent networks by applying them to background rejection in a toy Monte Carlo simulation of a Cherenkov telescope array. We then vary a range of observation and instrument parameters in the simulation. In general, most of the resulting systematics are at a level not much greater than conventional analyses. However, a strong dependence of the neural network predictions on the noise level within the camera was found, with differences of up to 50% in the gamma-ray acceptance rate in very noisy environments. It is clear from the performance differences seen in these studies that these observational effects must be considered in the training step of the final analysis when using such networks for background rejection in Cherenkov telescope observations.

研究动机与目标

• 评估卷积循环神经网络（CRNN）在成像大气切伦科夫望远镜（IACTs）背景抑制中，在不同观测和仪器条件下的稳定性。
• 识别基于CRNN分析中的关键系统性不确定性来源，这些来源可能损害灵敏度和通量测量精度。
• 评估噪声水平、光学点扩散函数（PSF）、望远镜指向和死像素变化对伽马射线事例接受度和分类性能的影响。
• 为训练CRNN提供定量指导，以最小化真实世界IACT数据分析中的系统性误差。
• 通过量化对环境和仪器参数的敏感性，确保高能天体物理学中基于机器学习分析的可重复性和可靠性。

提出的方法

• 使用地面水平处切伦科夫光子方向开发了切伦科夫望远镜阵列的简化蒙特卡洛模拟，以生成逼真的相机图像。
• 通过应用镜面反射率、相机探测效率、光学点扩散函数（PSF）和高斯基底噪声，模拟望远镜响应，作用于光子权重。
• 在模拟的伽马射线和质子簇射图像上训练卷积循环神经网络（CRNN），以分类事例并抑制背景。
• 系统性地改变关键参数——噪声水平、PSF宽度、天顶角和像素死时间——同时测量伽马射线接受度和分类性能的变化。
• 使用加权E^-2.6能谱计算在不同PSF和噪声条件下接受度的变化。
• 应用去噪和像素补全技术，评估噪声和死像素的缓解策略。

实验结果

研究问题

• RQ1 夜天背景（NSB）噪声水平的变化如何影响基于CRNN的背景抑制系统的伽马射线接受度？
• RQ2 光学PSF尺寸对CRNN性能有何影响，特别是在PSF尺寸接近或超过像素尺寸时？
• RQ3 望远镜指向（天顶角）的变化如何影响CRNN分类稳定性和伽马射线接受度？
• RQ4 死像素或失效像素在多大程度上会降低CRNN性能，且能否被有效缓解？
• RQ5 在训练中需要达到何种模拟精度，才能使真实世界IACT数据分析中的系统性不确定性低于10%？

主要发现

• 在极高噪声条件下，CRNN的伽马射线接受度变化高达50%，表明其对NSB水平高度敏感。
• 噪声必须在约0.5 p.e.以内准确建模，才能使最终分析中的系统性不确定性低于约10%。
• 当光学PSF尺寸超过像素尺寸（0.1°半径）时，伽马射线接受度迅速下降，且随着PSF尺寸增大，性能显著下降。
• 天顶角必须精确到secθ_zen的0.06步长以内，以避免性能显著退化。
• 通过平均邻近像素值，可有效缓解死像素的影响，将系统性效应降低至百分之几的水平。
• 只有当模拟准确反映真实观测条件，特别是像素和噪声水平时，PSF、噪声和死像素引起的系统性不确定性才能保持在10%以下。