[논문 리뷰] Bayesian Deep Learning for Exoplanet Atmospheric Retrieval

Frank Soboczenski, Michael D. Himes외 9명|arXiv (Cornell University)|2018. 11. 08.

Geochemistry and Geologic Mapping참고 문헌 21인용 수 18

한 줄 요약

이 논문은 NASA Planetary Spectrum Generator를 사용해 생성한 300만 개의 합성 스펙트럼으로 훈련된 1D 합성곱 신경망을 사용하는 베이지안 딥러닝 프레임워크인 INARA를 소개한다. 기존 방법보다 수십만 배 빠른 초 단위의 추론 속도를 달성하면서도, 몽테 카를로 드롭아웃을 통해 예측 불확실성 추정을 제공함으로써 암석으로 이루어진 외계행성의 대기 성분을 확률적으로 추론할 수 있다. 12종의 대기 분자(예: O2, CH4 등 생물지표)를 정확하게 추정한다.

ABSTRACT

Over the past decade, the study of extrasolar planets has evolved rapidly from plain detection and identification to comprehensive categorization and characterization of exoplanet systems and their atmospheres. Atmospheric retrieval, the inverse modeling technique used to determine an exoplanetary atmosphere's temperature structure and composition from an observed spectrum, is both time-consuming and compute-intensive, requiring complex algorithms that compare thousands to millions of atmospheric models to the observational data to find the most probable values and associated uncertainties for each model parameter. For rocky, terrestrial planets, the retrieved atmospheric composition can give insight into the surface fluxes of gaseous species necessary to maintain the stability of that atmosphere, which may in turn provide insight into the geological and/or biological processes active on the planet. These atmospheres contain many molecules, some of them biosignatures, spectral fingerprints indicative of biological activity, which will become observable with the next generation of telescopes. Runtimes of traditional retrieval models scale with the number of model parameters, so as more molecular species are considered, runtimes can become prohibitively long. Recent advances in machine learning (ML) and computer vision offer new ways to reduce the time to perform a retrieval by orders of magnitude, given a sufficient data set to train with. Here we present an ML-based retrieval framework called Intelligent exoplaNet Atmospheric RetrievAl (INARA) that consists of a Bayesian deep learning model for retrieval and a data set of 3,000,000 synthetic rocky exoplanetary spectra generated using the NASA Planetary Spectrum Generator. Our work represents the first ML retrieval model for rocky, terrestrial exoplanets and the first synthetic data set of terrestrial spectra generated at this scale.

연구 동기 및 목표

• 관측 스펙트럼으로부터 암석으로 이루어진 외계행성의 대기 성분을 신속하고 확장 가능하며, 확률론적으로 타당한 방법으로 추론하는 데 목적이 있다.
• 기존 몽테 카를로 기반 추론 방법은 단일 추론에 수백 시간의 CPU 시간이 소요되어 계산적으로 비현실적이므로 이를 해결하고자 한다.
• 기계학습 모델을 훈련시키기 위해 암석으로 이루어진 외계행성의 대기 성분을 기반으로 한 대규모이고 물리적으로 타당한 합성 데이터 세트(300만 개 스펙트럼)를 생성하고자 한다.
• 몽테 카를로 드롭아웃을 통한 불확실성 정량화를 딥러닝 추론에 통합하여 베이지안 사후 분포를 모방하고자 한다.
• 이전의 기계학습 방법이 3~4종의 분자에 국한된 데 비해, 더 많은 대기 성분(12종)을 추론할 수 있도록 하되, 특히 O2와 CH4와 같은 핵심 생물지표를 포함하고자 한다.

제안 방법

• 감독형 딥러닝 프레임워크는 300만 개의 매개변수-스펙트럼 쌍으로 구성된 합성 데이터 세트를 사용해 관측 스펙트럼에서 대기 성분으로 매핑하는 1D 합성곱 신경망(CNN)을 훈련시킨다.
• 이 데이터 세트는 NASA Planetary Spectrum Generator(PSG)를 사용해 생성되었으며, 12종의 분자를 포함한 천체 및 대기 매개변수에 물리적으로 타당한 사전 분포를 적용하였다.
• CNN 아키텍처는 다수의 Conv1D, ReLU, MaxPool 레이어를 거쳐 최종적으로 완전 연결 레이어를 거치며, 총 1,800만 개의 학습 가능한 파라미터를 가진다.
• 추론 과정에서 몽테 카를로 드롭아웃을 적용하여 예측 불확실성을 추정하고, 베이지안 사후 분포를 근사한다.
• 프레임워크는 PyTorch로 구현되었으며, 2,000대의 고성능 VM을 사용한 분산 컴퓨팅 환경에서 Google Cloud에 배포되었고, PSG 통합을 위한 커스텀 pypsg 패키지가 함께 사용되었다.
• 모델 훈련은 조기 정지와 10,000개의 검증 샘플을 포함한 검증 세트를 통해 과적합을 방지하기 위해 평균 제곱오차 손실 함수를 사용하였다.

실험 결과

연구 질문

• RQ1 합성 스펙트럼으로 훈련된 딥러닝 모델이 암석으로 이루어진 외계행성의 대기 성분을 신속하고 정확하게 추론할 수 있는가?
• RQ2 딥 네트워크에서 몽테 카를로 드롭아웃이 기존의 베이지안 추론 방법과 유사한 불확실성 추정을 제공할 수 있는가?
• RQ3 제안된 모델의 성능은 추론하는 대기 성분의 수에 따라 어떻게 스케일링되는가?
• RQ4 300만 개의 대규모 합성 스펙트럼 데이터 세트가 기계학습 기반 대기 추론의 일반화 능력과 강건성에 기여하는가?
• RQ5 기계학습 모델의 추론 속도는 기존의 몽테 카를로 샘플링 기반 추론 방법보다 빠른가?

주요 결과

• INARA는 추론을 수초 내로 수행하여 기존 방법의 수백 시간이 소요되는 CPU 시간 대비 몇 개의 주요 오차 정도의 속도 향상을 달성한다.
• 모델은 H2O, CO2, O2, N2, CH4 등 핵심 생물지표를 포함한 총 12종의 대기 성분을 성공적으로 추론하였으며, 이는 이전의 기계학습 방법이 3~4종에 머물러 있던 것에 비해 뛰어난 성능을 보였다.
• 몽테 카를로 드롭아웃은 진짜 대기 성분이 예측 불확실성 범위 내에 포함되는 예측 분포를 제공하였으며, 그림 1에서 빨간 별과 선이 예측 분포 내에 포함된 것으로 확인되었다.
• 가장 우수한 성능을 보인 모델은 다음과 같은 아키텍처를 가진 1D CNN이다: Conv1d(64)–tanh–MaxPool–Conv1d(64)–relu–MaxPool–Conv1d(128)–relu–MaxPool–Conv1d(256)–relu–FC(256)–relu–FC(12).
• 프레임워크는 64 에포크 동안 110,000개의 매개변수-스펙트럼 쌍으로 훈련되었으며, 조기 정지와 검증을 통해 과적합을 방지했고, 새로운 스펙트럼에 대해서도 잘 일반화되었다.
• 본 연구는 암석으로 이루어진 외계행성에 대해 300만 개의 스펙트럼을 포함하는 최초의 대규모 합성 데이터 세트를 제시하여 향후 기계학습 기반 대기 추론 연구에 기여할 수 있다.