[論文レビュー] Muon Hunter: a Zooniverse project

R. Bird, M. K. Daniel+9 more|arXiv (Cornell University)|Feb 24, 2018

Particle Detector Development and Performance被引用数 5

ひとこと要約

Muon Hunter は、Zooniverse プラットフォーム上で市民科学を活用し、VERITAS Cherenkov 電波望遠鏡のデータからミューオンリング画像を分類することで、バックグラウンド除去およびキャリブレーションのための高精度な畳み込みニューラルネットワーク（CNN）のトレーニングを可能にした。97%のテスト精度を達成したボランティアラベル付きデータセットは、標準的な VERITAS 分析を上回り、アストロパラティクル物理学における機械学習のためのクラウドソーシングラベリングの強力さを示している。

ABSTRACT

The large datasets and often low signal-to-noise inherent to the raw data of modern astroparticle experiments calls out for increasingly sophisticated event classification techniques. Machine learning algorithms, such as neural networks, have the potential to outperform traditional analysis methods, but come with the major challenge of identifying reliably classified training samples from real data. Citizen science represents an effective approach to sort through the large datasets efficiently and meet this challenge. Muon Hunter is a project hosted on the Zooniverse platform, wherein volunteers sort through pictures of data from the VERITAS cameras to identify muon ring images. Each image is classified multiple times to produce a "clean" dataset used to train and validate a convolutional neural network model both able to reject background events and identify suitable calibration data to monitor the telescope performance as a function of time.

研究の動機と目的

• 高エネルギー物理学における機械学習のトレーニングのため、大規模で信号対雑音比が低いデータセットのラベリングの課題に取り組む。
• ガンマ線信号を模倣するミューオンリング画像を特定することで、非常に高エネルギー（VHE）ガンマ線観測におけるバックグラウンドイベントの除去を向上させる。
• 既知のミューオンリング光プロファイルを用いて、クリーンなミューオンリングイベントを特定することで、絶対的カメラキャリブレーションを可能にする。
• 教師あり機械学習モデルのための高純度トレーニングデータを生成するスケーラブルな、市民科学を基盤とするパイプラインを開発する。
• ボランティアの分類の信頼性を、標準的な VERITAS 分析と比較し、複数の分類者間の合意度を評価することで検証する。

提案手法

• ボランティアが VERITAS 電波望遠鏡の画像をミューオンリングを含むか含まないかとして分類する Zooniverse ベースの市民科学プロジェクトを展開する。
• 複数投票ワークフローを採用：各画像は15名のボランティアによって分類され、分類の信頼性を推定し、個人の誤りを低減する。
• 投票閾値を適用：ミューオン存在の投票が10票以上ある画像はミューオンイベントとラベル付けされ、それ以外は非ミューオンとされる。
• ボランティアが合意したラベルに基づくデータセットを真値として、畳み込みニューラルネットワーク（CNN）をトレーニングする。
• 同じテストセットを用いて、CNN の性能を標準的な VERITAS 分析パイプラインと比較する。
• ソーシャルメディアやアウトリーチツールを活用してボランティアをエンゲージし、プロジェクト設計の改善に役立てるためのデモグラフィックインサイトを収集する。

実験結果

リサーチクエスチョン

• RQ1 市民科学は、高エネルギー天体物理学における機械学習モデルのための高精度トレーニングラベルを効果的に生成できるか？
• RQ2 ボランティアラベル付きデータでトレーニングされた CNN の性能は、標準的な VERITAS 分析ラベルでトレーニングされたものと比べてどうなるか？
• RQ3 ボランティアの分類は、ミューオンリング画像を特定するという点で、既存の分析手法とどの程度一致するか？
• RQ4 ボランティア間の合意投票は、ノイズの多い Cherenkov 電波望遠鏡データにおいて真のミューオンリングイベントを信頼性を持って特定できるか？
• RQ5 市民科学は、自動パイプラインが見逃す可能性のある予期しないまたは異常なイベントを発見するのにとってどのような役割を果たせるか？

主な発見

• Muon Hunter のボランティアラベルでトレーニングされた CNN モデルは、テスト精度約97%を達成し、標準的な VERITAS 分析（約95%精度）を上回った。
• 137,515枚の画像が分類されたが、そのうち12%がミューオンリングが存在すると全員が一致して分類され、73%が非ミューオンと全員が一致して分類された。
• 画像ごとの投票分布から、15%の画像が分岐または曖昧な分類を受けており、これは一見しただけでは判断が難しい、あるいは複雑なイベントが非小規模に存在することを示している。
• 本プロジェクトは、134,000枚の画像を対象に137,515件の合計分類を達成し、多様なデモグラフィーにわたるボランティア参加が顕著に確認された。
• Facebook や専用ブログを活用したソーシャルメディアのアウトリーチは、55カ国に及ぶオーディエンスに到達し、特に女性の参加が不足している傾向を明らかにした。
• ボランティアの入力により、まれなまたは予期しない画像が同定され、自動パイプラインが見逃す可能性のある異常を発見するための「人間を含めたシステム」の潜在的価値が浮き彫りになった。