[論文レビュー] WTF? Discovering the Unexpected in next-generation radio continuum surveys

E. J. Crawford, R. P. Norris+1 more|arXiv (Cornell University)|Nov 9, 2016

Radio Astronomy Observations and Technology参考文献 1被引用数 4

ひとこと要約

本論文は、次世代の電波連続スペクトル調査（例：EMU）において、予め定められた科学的目標を超えて予期しない天体物理学的現象を前もって発見するための「WTF」（Widefield Outlier Finder）プロジェクトを提案する。機械学習とクラウドインフラ上での共同データチャレンジを活用し、実際のデータおよびシミュレートされたデータに『たまご』（偶然の発見に類似）を埋め込むことで、アルゴリズムが外れ値を特定できるかを検証する。その目的は、事前に定義された科学的目標を超える、未知の天体的対象を体系的かつ効果的に発見することにある。

ABSTRACT

Most major discoveries in astronomy have come from unplanned discoveries made by surveying the Universe in a new way, rather than by testing a hypothesis or conducting an investigation with planned outcomes. Next generation radio continuum surveys such as the Evolutionary Map of the Universe (EMU: the radio continuum survey on the new Australian SKA Pathfinder telescope), will significantly expand the volume of observational phase space, so we can be reasonably confident that we will stumble across unexpected new phenomena or new types of object. However, the complexity of the instrument and the large data volumes mean that it may be non-trivial to identify them. On the other hand, if we don't, then we may be missing out on the most exciting science results from EMU. We have therefore started a project called "WTF", which explicitly aims to mine EMU data to discover unexpected science that is not part of our primary science goals, using a variety of machine-learning techniques and algorithms. Although targeted specifically at EMU, we expect this approach will have broad applicability to astronomical survey data.

研究の動機と目的

• 大規模な電波連続スペクトル調査（例：EMU）において、事前に定義された科学的目標を超える予期しない天体物理学的現象を体系的に発見するためのアプローチを開発すること。
• ペタバイトスケールのデータセットにおいて、手動での点検が不可能な状況下で、まれなまたは異常な天体源を同定する課題に対処すること。
• Amazon Web Servicesを用いたクラウドベースのプラットフォームを活用し、データチャレンジをホスティングし、多様なチームがアルゴリズムをテストできる共同作業環境を構築すること。
• 大規模なデータマイニングプロジェクトにおける国際的共同作業、リソース配分、論文発表のためのベストプラクティスを確立すること。
• EMUのデータ洪水が迫る状況に備え、本格的な調査運用開始前に外れ値検出技術を洗練させること。

提案手法

• プロジェクトは段階的な手法を採用する：まず、スケーラブルなデータストレージと計算を実現するため、AWS上にクラウドベースのインfra構築を実施する。
• 仮想の新しい天体物理学的現象を表す「たまご」が、実際の電波調査データおよび合成データ（画像および多波長連携付きの表形式データを含む）に埋め込まれる。
• 外部の研究チームが事前に知識を持たずに参加する、盲検データチャレンジを複数回実施し、これらの隠された「たまご」を検出するアルゴリズムを適用する。
• クラスタリング（k-means、DBSCAN）、次元削減（t-SNE、オートエンコーダー）、外れ値検出アルゴリズムを含む、多様な機械学習手法が使用される。
• 結果の解釈を支援する可視化ツールを提供し、アルゴリズムの改善を導く。挑戦、開発、再テストの反復サイクルが実施される。
• プロジェクトは、シミュレートされたデータから始まり、次第に実際のASKAP初期科学データへと移行し、最終的には完全なEMU調査データに至る。この段階的移行により、本物の発見の可能性が高まる。

実験結果

リサーチクエスチョン

• RQ1 機械学習手法を、大規模な電波連続スペクトル調査においてまれなまたは異常な天体源を効果的に検出するためにどのように適用できるか。
• RQ2 多変数のデータ空間において、予期しない天体物理学的現象を同定するための、最適なアルゴリズムとデータ表現の組み合わせは何か。
• RQ3 クラウドホスティングされた共同データチャレンジは、部分的に実際のデータにシミュレートされた発見を埋め込んだ状況でも、新たな天体源を効果的に同定できるか。
• RQ4 大規模なデータマイニングに適した、スケーラブルで拡張可能かつ共同作業可能な研究インfraをどのように構築できるか。
• RQ5 データ集約的で発見志向のプロジェクトにおいて、国際的共同作業、リソース配分、論文発表を効果的に行うために必要なベストプラクティスは何か。

主な発見

• WTFプロジェクトは、AWS上に大規模なデータチャレンジをホスティングできるクラウドベースの共同インフラを成功裏に構築し、スケーラブルなデータ処理とアルゴリズムのテストを可能にした。
• 実際のデータおよび合成データに埋め込んだシミュレートされた「たまご」を用いた初期のデータチャレンジは、プラットフォームのアーキテクチャの妥当性を検証し、より大規模なユーザーベースへの拡張性を示した。
• プロジェクトは、すでに実際のASKAPデータが導入された第2フェーズおよび第3フェーズで、本物の予期しない発見の機会を創出している。
• 異なる機械学習アルゴリズムは、データの種別や異常特性に応じて性能に差を示し、外れ値検出においてアルゴリズムの多様性が不可欠であることが明らかになった。
• 挑戦、アルゴリズム開発、改善の反復サイクルが、時間経過とともに検出能力を向上させるのに効果的であることが実証された。
• プロジェクトは2017年に完全なEMUデータへの移行を予定しており、これにより、以前に知られていなかった天体物理学的現象を実際に検出する可能性が著しく高まる。