[論文レビュー] Machine Learning in Astronomy: a practical overview

Dalya Baron|arXiv (Cornell University)|Apr 15, 2019

Gamma-ray bursts and supernovae参考文献 18被引用数 136

ひとこと要約

監督学習と教師なし機械学習技術を天文学データに適用した実践的概観であり、データの課題、評価、一般的なアルゴリズムの実装、確率的拡張および深層学習の考慮事項を強調する。

ABSTRACT

Astronomy is experiencing a rapid growth in data size and complexity. This change fosters the development of data-driven science as a useful companion to the common model-driven data analysis paradigm, where astronomers develop automatic tools to mine datasets and extract novel information from them. In recent years, machine learning algorithms have become increasingly popular among astronomers, and are now used for a wide variety of tasks. In light of these developments, and the promise and challenges associated with them, the IAC Winter School 2018 focused on big data in Astronomy, with a particular emphasis on machine learning and deep learning techniques. This document summarizes the topics of supervised and unsupervised learning algorithms presented during the school, and provides practical information on the application of such tools to astronomical datasets. In this document I cover basic topics in supervised machine learning, including selection and preprocessing of the input dataset, evaluation methods, and three popular supervised learning algorithms, Support Vector Machines, Random Forests, and shallow Artificial Neural Networks. My main focus is on unsupervised machine learning algorithms, that are used to perform cluster analysis, dimensionality reduction, visualization, and outlier detection. Unsupervised learning algorithms are of particular importance to scientific research, since they can be used to extract new knowledge from existing datasets, and can facilitate new discoveries.

研究の動機と目的

• 大規模で複雑なデータセットの増大に伴い、天文学における従来のモデルベースの解析の対となるデータ駆動型アプローチとして機械学習の活用を動機づける。
• 前処理、評価、アルゴリズム選択を含む、天文学データセットに対する監督付きおよび教師なし機械学習の実践的適用についての指針を提供する。
• 人気アルゴリズム（SVM、Random Forest、浅いニューラルネットワーク）と教師なし技法を、クラスタリング、次元削減、異常検知のための手法として強調する。
• 今後のサーベイにおけるデータの課題と、機械学習が天体を検出・特性評価・分類するのにどう役立つかを検討する。

提案手法

• 監督付き学習の評価指標とモデル検証スキームを説明し、訓練/検証/テスト分割および交差検証を含む。
• 入力データの取り扱い：特徴選択、正規化、スケーリング、データセットの不均衡への対処。
• 核となる監督付きアルゴリズム（Support Vector Machines、Decision Trees、Random Forests、浅い Artificial Neural Networks）を提示・解説する。
• 特徴量とラベルの不確実性を確率的に扱う方法として Probabilistic Random Forest を説明する。
• 距離指標、クラスタリング、次元削減、異常検知などの教師なし学習トピックとそれらの科学的意義を概説する。
• 浅いモデルと深層モデルの実用上の考慮事項、および畳み込みアーキテクチャの特徴抽出能力に言及する。

実験結果

リサーチクエスチョン

• RQ1 監督付き機械学習を天文学データ上でどのように効果的に訓練・検証・評価できるか？
• RQ2 天文学における前処理、特徴選択、データの不均衡への対処にはどんな実務的考慮事項があるか？
• RQ3 一般的な機械学習アルゴリズム（SVM、Random Forest、浅い NN）は典型的な天文学的タスクでどのように性能を発揮し、どのような制約があるか？
• RQ4 大規模な天文データセットにおいて、教師なし手法が新しい知識を発見するうえでどのような利点を提供するか？
• RQ5 測定値とラベルの不確実性を天文学の機械学習モデルにどのように組み込むことができるか？

主な発見

• Probabilistic Random Forest は、ノイズの多い特徴量で最大10%、ノイズの多いラベルで最大30%、従来の Random Forest に比べ分類精度を改善する。
• Probabilistic Random Forest は欠損値の処理や、トレーニングセットとテストセットでのノイズ特性のばらつきを自然に扱う。
• Random Forest は木の集約によって単一のDecision Treeより一般化性能が高いが、標準の RF は特徴量/ラベルの不確実性をネイティブには考慮しない。
• SVM はシンプルで頑健だが、特徴量のスケーリングに敏感で、無関係な特徴の影響を受ける可能性があるため、特徴選択が推奨される。
• アンサンブル学習と深層学習アプローチは生のデータを活用でき、文脈によっては広範な特徴量設計の必要性を低減できる。
• 本資料は、教師なし学習を大規模データセットから新しい知識を抽出し発見を可能にする点で特に重要であると強調している。