[論文レビュー] A citizen-science approach to muon events in imaging atmospheric Cherenkov telescope data: the Muon Hunter

Q. Feng, J. F. Jarvis|arXiv (Cornell University)|Aug 21, 2017

Astrophysics and Cosmic Phenomena参考文献 6被引用数 4

ひとこと要約

本論文では、Zooniverse上で実施されている市民科学プロジェクト「Muon Hunter」を提示する。このプロジェクトは、VERITASのイメージング大気チェレンコフ望遠鏡データにおけるミューオンイベントのボランティアによる分類を活用し、より良いミューオンリング検出を実現するための畳み込みニューラルネットワーク（CNN）を訓練する。モデルは、集団によるラベルを用いて97％のテスト精度を達成し、従来の標準的分析データで学習させたCNNよりも優れた性能を示した。

ABSTRACT

Event classification is a common task in gamma-ray astrophysics. It can be treated with rapidly-advancing machine learning algorithms, which have the potential to outperform traditional analysis methods. However, a major challenge for machine learning models is extracting reliably labelled training examples from real data. Citizen science offers a promising approach to tackle this challenge. We present "Muon Hunter", a citizen science project hosted on the Zooniverse platform, where VERITAS data are classified multiple times by individual users in order to select and parameterize muon events, a product from cosmic ray induced showers. We use this dataset to train and validate a convolutional neural-network model to identify muon events for use in monitoring and calibration. The results of this work and our experience of using the Zooniverse are presented.

研究の動機と目的

• 機械学習におけるガンマ線天文学の分野で信頼性の高いラベル付き訓練データを入手する課題に対処すること。
• イメージング大気チェレンコフ望遠鏡データにおけるミューオンリングイベントのラベル付けに、スケーラブルでコミュニティ主導の方法を開発すること。
• 市民科学によるラベルで学習させた畳み込みニューラルネットワーク（CNN）を用いて、ミューオンイベント分類の性能を向上させること。
• ボランティアの合意形成を用いて、高エネルギー天文学における教師あり学習のための高品質な訓練データを生成する可能性を検討すること。
• 標準的分析と市民科学の両方で特定されたミューオンイベントを用いて、IACTのキャリブレーションとモニタリングを実施すること。

提案手法

• Zooniverseプラットフォームのボランティアが16,000枚のVERITAS画像を分類し、ミューオンリング候補をマークし、リングの完全性や包含性に関するフォローアップ質問に回答した。
• 各画像は15回の独立した分類を受け、投票集約による統計的信頼性の推定が可能になった。
• ミューオン存在のための10票以上が得られた画像はミューオンイベントとしてラベル付けされ、それ以外は非ミューオンイベントとして訓練用にラベル付けされた。
• オリジナルの499ピクセルのヘキサゴナルPMタレイアウトから抽出したオーバー採番された54×54ピクセル画像を用いて、VGGスタイルのCNNを訓練した。
• CNNは平均プーリング、ドロップアウト、および2層の全結合ヘッドを用い、ミューオン対非ミューオンイベントの二値分類を実行した。
• モデルの性能はテスト精度を用いて評価され、標準的VEGAS分析パイプラインからのラベルで学習させたCNNと比較された。

実験結果

リサーチクエスチョン

• RQ1 市民科学は、イメージング大気チェレンコフ望遠鏡データにおけるミューオンリングイベントに対して、信頼性があり高品質なラベルを提供できるか？
• RQ2 市民科学によるラベルで学習させたCNNモデルの性能は、標準的分析ラベルで学習させたモデルと比べてどうなるか？
• RQ3 ボランティア間の合意投票は、ラベル付けの曖昧さを低減し、訓練データの品質を向上させられるか？
• RQ4 ボランティアの入力によって特定されたノイズが少ない単一ミューオンリング画像を活用することで、ミューオンリング検出はどの程度向上できるか？
• RQ5 同じデータを用いて回帰モデルを効果的に訓練し、ミューオンリングの半径を予測することで、IACTのキャリブレーション精度を向上させられるか？

主な発見

• 市民科学ラベルで学習させたCNNモデルは、テスト精度約97％を達成し、従来の標準的VEGASラベルで学習させたモデル（約95％の精度）を上回った。
• ボランティア分類の分布から、85％の画像が一貫した投票を得ており、ラベル付けの信頼性が非常に高いことが示された。
• ミューオン存在のための10票以上が得られた画像を新たな訓練データセットとして使用したことで、よりクリアで曇りのないデータセットが得られ、モデルの訓練に適した状態になった。
• このプロジェクトは、高エネルギー天文学における機械学習の分野で、データラベリングのボトルネックを市民科学が効果的に解決できることを示した。
• より大きな、市民科学で強化されたデータセットで学習させたモデルは、一般化性能が向上しており、以前の小さなデータセットと比較して過学習のリスクが低減していることが示唆された。
• 著者らは、単一ミューオンリング画像を用いて回帰モデルを訓練する道筋を特定し、IACTのキャリブレーション精度を向上させる可能性を示した。