[论文解读] Bayesian Deep Learning for Exoplanet Atmospheric Retrieval

Frank Soboczenski, Michael D. Himes+9 more|arXiv (Cornell University)|Nov 8, 2018

Geochemistry and Geologic Mapping参考文献 21被引用 18

一句话总结

本文提出了INARA，一种用于系外行星大气反演的贝叶斯深度学习框架，该框架使用在300万个由美国国家航空航天局行星光谱仪（PSG）生成的合成光谱上训练的1D卷积神经网络。其推理速度仅需数秒，比传统方法快几个数量级，同时通过蒙特卡洛dropout方法预测12种大气分子及其不确定性，实现了对岩石系外行星的概率反演。

ABSTRACT

Over the past decade, the study of extrasolar planets has evolved rapidly from plain detection and identification to comprehensive categorization and characterization of exoplanet systems and their atmospheres. Atmospheric retrieval, the inverse modeling technique used to determine an exoplanetary atmosphere's temperature structure and composition from an observed spectrum, is both time-consuming and compute-intensive, requiring complex algorithms that compare thousands to millions of atmospheric models to the observational data to find the most probable values and associated uncertainties for each model parameter. For rocky, terrestrial planets, the retrieved atmospheric composition can give insight into the surface fluxes of gaseous species necessary to maintain the stability of that atmosphere, which may in turn provide insight into the geological and/or biological processes active on the planet. These atmospheres contain many molecules, some of them biosignatures, spectral fingerprints indicative of biological activity, which will become observable with the next generation of telescopes. Runtimes of traditional retrieval models scale with the number of model parameters, so as more molecular species are considered, runtimes can become prohibitively long. Recent advances in machine learning (ML) and computer vision offer new ways to reduce the time to perform a retrieval by orders of magnitude, given a sufficient data set to train with. Here we present an ML-based retrieval framework called Intelligent exoplaNet Atmospheric RetrievAl (INARA) that consists of a Bayesian deep learning model for retrieval and a data set of 3,000,000 synthetic rocky exoplanetary spectra generated using the NASA Planetary Spectrum Generator. Our work represents the first ML retrieval model for rocky, terrestrial exoplanets and the first synthetic data set of terrestrial spectra generated at this scale.

研究动机与目标

• 开发一种快速、可扩展且具有概率原理的系外行星岩石大气参数反演方法，用于从观测光谱中提取信息。
• 克服传统基于蒙特卡洛的反演方法计算不可行的问题，这些方法单次反演需数百CPU小时。
• 生成一个大规模、具有物理解释的300万张光谱合成数据集，用于训练机器学习模型。
• 通过蒙特卡洛dropout将不确定性量化集成到深度学习反演中，模拟贝叶斯后验分布。
• 实现比以往机器学习方法（3–4种）更多的大气分子反演（12种），包括O2和CH4等关键生物标志物。

提出的方法

• 一个监督式深度学习框架训练一个1D卷积神经网络（CNN），利用包含300万组参数-光谱对的合成数据集，将观测光谱映射到大气参数。
• 该数据集使用美国国家航空航天局行星光谱仪（PSG）生成，其中对行星和大气参数施加了具有物理解释的先验，包括12种分子。
• CNN架构包含多个Conv1D、ReLU和MaxPool层，随后是全连接层，具有1800万个可训练参数。
• 推理过程中应用蒙特卡洛dropout以估计预测不确定性，近似贝叶斯后验分布。
• 该框架使用PyTorch实现，并在Google Cloud上通过2000台高端虚拟机的分布式计算进行部署，同时使用自定义的pypsg包实现与PSG的集成。
• 模型训练使用均方误差损失函数，配合早停策略和10,000个样本的验证集，以防止过拟合。

实验结果

研究问题

• RQ1 在合成光谱上训练的深度学习模型能否实现对岩石系外行星大气参数的快速且准确的反演？
• RQ2 深度神经网络中的蒙特卡洛dropout能否提供与传统贝叶斯反演方法相当的不确定性估计？
• RQ3 所提出模型的性能如何随反演大气分子数量的增加而变化？
• RQ4 大规模合成光谱数据集（300万张光谱）能否提升基于机器学习的大气反演的泛化能力和鲁棒性？
• RQ5 机器学习模型的推理速度与传统基于蒙特卡洛采样的反演方法相比如何？

主要发现

• INARA的推理时间仅需数秒，相比传统方法快几个数量级，后者需数百CPU小时。
• 该模型成功反演了12种大气分子，包括H2O、CO2、O2、N2和CH4等关键生物标志物，优于以往仅能处理3–4种分子的机器学习方法。
• 蒙特卡洛dropout提供的预测分布包含真实大气参数，如图1所示，真实值（红星和红线）位于预测分布的不确定性范围内。
• 性能最佳的模型为1D CNN，其架构为：Conv1d(64)–tanh–MaxPool–Conv1d(64)–relu–MaxPool–Conv1d(128)–relu–MaxPool–Conv1d(256)–relu–FC(256)–relu–FC(12)。
• 该框架在110,000组参数-光谱对上训练了64个周期，采用早停和验证策略以防止过拟合，且对未见过的光谱具有良好的泛化能力。
• 本研究首次构建了针对岩石系外行星的300万张光谱大规模合成数据集，为未来基于机器学习的大气反演研究提供了支持。