[논문 리뷰] Machine Learning in Astronomy: a practical overview

Dalya Baron|arXiv (Cornell University)|2019. 04. 15.

Gamma-ray bursts and supernovae참고 문헌 18인용 수 136

한 줄 요약

천문 데이터에 적용된 감독 학습 및 비감독 학습 기법에 대한 실용적 개요로, 데이터 도전과제, 평가, 및 일반 알고리즘 구현에 중점을 두며, 확률적 확장과 심층 학습 고려사항을 포함한다.

ABSTRACT

Astronomy is experiencing a rapid growth in data size and complexity. This change fosters the development of data-driven science as a useful companion to the common model-driven data analysis paradigm, where astronomers develop automatic tools to mine datasets and extract novel information from them. In recent years, machine learning algorithms have become increasingly popular among astronomers, and are now used for a wide variety of tasks. In light of these developments, and the promise and challenges associated with them, the IAC Winter School 2018 focused on big data in Astronomy, with a particular emphasis on machine learning and deep learning techniques. This document summarizes the topics of supervised and unsupervised learning algorithms presented during the school, and provides practical information on the application of such tools to astronomical datasets. In this document I cover basic topics in supervised machine learning, including selection and preprocessing of the input dataset, evaluation methods, and three popular supervised learning algorithms, Support Vector Machines, Random Forests, and shallow Artificial Neural Networks. My main focus is on unsupervised machine learning algorithms, that are used to perform cluster analysis, dimensionality reduction, visualization, and outlier detection. Unsupervised learning algorithms are of particular importance to scientific research, since they can be used to extract new knowledge from existing datasets, and can facilitate new discoveries.

연구 동기 및 목표

• 빅 데이터와 복잡한 데이터세트의 증가로 인해 천문학에서 기계학습을 전통적인 모델 기반 분석의 데이터 주도적 대안으로 사용하는 것을 촉진한다.
• 전처리, 평가 및 알고리즘 선택을 포함하여 천문 데이터세트에 감독 및 비감독 ML을 적용하는 실용적 가이드를 제공한다.
• 클래스터링, 차원 축소, 이상 탐지를 위한 인기 알고리즘(SVM, Random Forest, 얕은 인공신경망)과 비감독 기법을 강조한다.
• 향후 조사에서의 데이터 도전과제와 ML이 천체를 탐지, 특성화, 분류하는 데 어떻게 도움이 되는지 논의한다.

제안 방법

• 감독 학습에 대한 평가 지표 및 모델 검증 체계를 설명하며, 학습/검증/테스트 분할과 교차 검증을 포함한다.
• 입력 데이터 처리: 특징 선택, 정규화, 스케일링 및 불균형 데이터 세트 다루기를 다룬다.
• 핵심 감독 알고리즘인 Support Vector Machines, Decision Trees, Random Forests, 및 얕은 Artificial Neural Networks를 제시하고 설명한다.
• Probabilistic Random Forest를 사용한 특징 및 라벨의 불확실성에 대한 확률적 처리 방법을 설명한다.
• 거리 메트릭스, 클러스터링, 차원 축소, 이상 탐지 등 비감독 학습 주제와 그것의 과학적 관련성을 개요한다.
• 얕은 모델과 깊은 모델의 실용적 사용 고려사항 및 합성곱 아키텍처의 특징 추출 기능을 다룬다.

실험 결과

연구 질문

• RQ1 감독 ML을 천문 데이터에서 어떻게 효과적으로 학습, 검증, 테스트할 수 있는가?
• RQ2 천문학에서 전처리, 특징 선택 및 불균형 데이터 처리에 대한 실용적 고려사항은 무엇인가?
• RQ3 일반적인 ML 알고리즘(SVM, Random Forest, 얕은 NN)은 일반적인 천문 작업에서 어떤 성능을 보이고 한계는 무엇인가?
• RQ4 대규모 천문 데이터세트에서 새로운 지식을 발견하는 데 비감독 방법이 어떤 이점을 제공하는가?
• RQ5 측정 및 라벨의 불확실성을 천문학 ML 모델에 어떻게 포함시킬 수 있는가?

주요 결과

• Probabilistic Random Forest는 노이즈가 있는 특징에서 전통적인 Random Forest에 비해 최대 10%, 노이즈가 있는 라벨에서는 최대 30%의 분류 정확도를 향상시킨다.
• Probabilistic Random Forest는 학습 및 테스트 세트 간의 누락 값과 다양한 노이즈 특성을 자연스럽게 처리한다.
• Random Forest는 트리 간의 집계를 통해 단일 결정 트리보다 일반화가 잘되지만 표준 RF는 피처/라벨 불확실성을 기본적으로 고려하지 않는다.
• SVM은 간단하고 강인하지만 특징 스케일링에 민감하고 무관한 특징에 의해 영향을 받을 수 있으므로 특징 선택을 권장한다.
• 앙상블 및 딥 러닝 접근법은 원시 데이터를 활용하고 일부 맥락에서 광범위한 특징 공학의 필요성을 줄일 수 있다.
• 문서는 대규모 데이터세트에서 새로운 지식을 추출하고 발견을 가능하게 하는 데 비감독 학습이 특히 중요하다고 강조한다.