[論文レビュー] Investigations of the Systematic Uncertainties in Convolutional Neural Network Based Analysis of Atmospheric Cherenkov Telescope Data

R. D. Parsons, Alison Mitchell+1 more|arXiv (Cornell University)|Mar 10, 2022

Astrophysics and Cosmic Phenomena被引用数 5

ひとこと要約

本研究は、大気チェレンコフ望遠鏡のデータにおけるバックグラウンド除去に用いられる畳み込み再帰型ニューラルネットワーク（CRNN）における系統的不確実性を調査する。カメラ内のノイズレベルがガンマ線の受容に顕著に影響を与え、非常にノイズの高い状況では最大50％の変動を示すことが判明した。これは、ネットワークのトレーニング時に正確なノイズモデルを用意することで、多様な観測条件において安定した性能を維持できるようにする必要があることを示唆している。

ABSTRACT

Machine learning, through the use of convolutional and recurrent neural networks is a promising avenue for the improvement of background rejection performance in imaging atmospheric Cherenkov telescopes. However, it is of paramount importance for science analysis that their performance remains stable against a wide range of observing conditions and instrument states. We investigate the stability of convolutional recurrent networks by applying them to background rejection in a toy Monte Carlo simulation of a Cherenkov telescope array. We then vary a range of observation and instrument parameters in the simulation. In general, most of the resulting systematics are at a level not much greater than conventional analyses. However, a strong dependence of the neural network predictions on the noise level within the camera was found, with differences of up to 50% in the gamma-ray acceptance rate in very noisy environments. It is clear from the performance differences seen in these studies that these observational effects must be considered in the training step of the final analysis when using such networks for background rejection in Cherenkov telescope observations.

研究の動機と目的

• 撮影および機器の条件が変化する中で、画像大気チェレンコフ望遠鏡（IACT）のバックグラウンド除去における畳み込み再帰型ニューラルネットワーク（CRNN）の安定性を評価すること。
• CRNNを用いた解析における系統的不確実性の主な要因を特定し、感度およびフラックス測定の正確性に悪影響を及える可能性を特定すること。
• ノイズレベル、光学的PSF、望遠鏡の指向性、および不活性ピクセルの変動がガンマ線イベントの受容率および分類性能に与える影響を評価すること。
• 実世界のIACTデータ解析における系統的誤差を最小限に抑えるために、CRNNのトレーニングにおけるシミュレーションの正確さに関する定量的ガイドラインを提供すること。
• 環境的および機器的パrameterへの感受性を定量化することで、高エネルギー天体物理学における機械学習ベースの解析の再現可能性と信頼性を確保すること。

提案手法

• 地面レベルでのチェレンコフ光子の進行方向を用いて、現実的なカメラ画像を生成するためのチェレンコフ望遠鏡アレイのトロイ・モンテカルロシミュレーションを開発した。
• 鏡の反射率、カメラの検出効率、光学的点 spread 関数（PSF）、およびガウス分布のピエダルノイズを光子の重みに適用することで、望遠鏡応答をシミュレートした。
• ガンマ線およびプロトンシャワーの画像をシミュレートしてトレーニングし、分類を行いバックグラウンドを除外する畳み込み再帰型ニューラルネットワーク（CRNN）を訓練した。
• ノイズレベル、PSF幅、天の赤道角、ピクセルの不活性時間といった主要パラメータを系統的に変化させ、ガンマ線受容率および分類性能の変化を測定した。
• エネルギースペクトルE^-2.6に重みを付けて、異なるPSFおよびノイズ条件における受容率の変化を計算した。
• ノイズ低減およびピクセルの補完技術を適用し、ノイズおよび不活性ピクセルに対する緩和戦略を評価した。

実験結果

リサーチクエスチョン

• RQ1 夜空背景（NSB）ノイズレベルの変動が、CRNNベースのバックグラウンド除去システムにおけるガンマ線受容率にどのように影響するか？
• RQ2 光学的PSFサイズがCRNN性能に与える影響は何か。特にPSFサイズがピクセルサイズに近いかそれを超える場合に顕著になるか？
• RQ3 望遠鏡の指向性（天の赤道角）の変化が、CRNN分類の安定性およびガンマ線受容率にどのように影響するか？
• RQ4 不活性または不活性化されたピクセルがCRNN性能をどの程度悪化させるか。また、その影響は効果的に緩和可能か？
• RQ5 実世界のIACTデータ解析において系統的不確実性を10％未満に抑えるために、トレーニングにおけるシミュレーションの正確さはどの程度必要か？

主な発見

• 非常に高いノイズ状態では、CRNNのガンマ線受容率が最大50％変動することを確認し、NSBレベルに強く依存していることが示された。
• 系統的不確実性を最終解析で約10％未満に抑えるためには、ノイズを約0.5 p.e.以内に正確にモデル化する必要がある。
• ピクセルサイズ（0.1°半径）を超える光学的PSFの変動は、ガンマ線受容率の急激な低下を引き起こし、PSFサイズが増加するにつれて性能が著しく低下する。
• 天の赤道角（secθ_zen）を0.06のステップ内に正確に知ることが必要であり、それ以上に不正確になると顕著な性能劣化が生じる。
• 不活性ピクセルは、周囲のピクセル値の平均化によって効果的に緩和可能であり、系統的影響を数パーセントのレベルにまで低減できる。
• PSF、ノイズ、不活性ピクセルに起因する系統的不確実性を10％未満に抑えるには、特にピクセルおよびノイズレベルにおいて、シミュレーションが実際の観測条件を正確に反映している必要がある。