[論文レビュー] Bayesian Deep Learning for Exoplanet Atmospheric Retrieval

Frank Soboczenski, Michael D. Himes+9 more|arXiv (Cornell University)|Nov 8, 2018

Geochemistry and Geologic Mapping参考文献 21被引用数 18

ひとこと要約

本論文は、NASAの惑星スペクトルジェネレータを用いて生成された300万件の合成スペクトルで訓練された1次元畳み込みニューラルネットワークを用いるベイジアンディープラーニングフレームワーク、INARAを紹介する。従来の手法と比べて数個のオーダー速く、数秒で推論が可能であり、予測不確実性をモンテカルロドロップアウトで推定することで、岩石惑星の12種類の大気分子を確率的（ベイジアン）に同定可能である。

ABSTRACT

Over the past decade, the study of extrasolar planets has evolved rapidly from plain detection and identification to comprehensive categorization and characterization of exoplanet systems and their atmospheres. Atmospheric retrieval, the inverse modeling technique used to determine an exoplanetary atmosphere's temperature structure and composition from an observed spectrum, is both time-consuming and compute-intensive, requiring complex algorithms that compare thousands to millions of atmospheric models to the observational data to find the most probable values and associated uncertainties for each model parameter. For rocky, terrestrial planets, the retrieved atmospheric composition can give insight into the surface fluxes of gaseous species necessary to maintain the stability of that atmosphere, which may in turn provide insight into the geological and/or biological processes active on the planet. These atmospheres contain many molecules, some of them biosignatures, spectral fingerprints indicative of biological activity, which will become observable with the next generation of telescopes. Runtimes of traditional retrieval models scale with the number of model parameters, so as more molecular species are considered, runtimes can become prohibitively long. Recent advances in machine learning (ML) and computer vision offer new ways to reduce the time to perform a retrieval by orders of magnitude, given a sufficient data set to train with. Here we present an ML-based retrieval framework called Intelligent exoplaNet Atmospheric RetrievAl (INARA) that consists of a Bayesian deep learning model for retrieval and a data set of 3,000,000 synthetic rocky exoplanetary spectra generated using the NASA Planetary Spectrum Generator. Our work represents the first ML retrieval model for rocky, terrestrial exoplanets and the first synthetic data set of terrestrial spectra generated at this scale.

研究の動機と目的

• 観測スペクトルから岩石惑星の大気パラメータを高速かつスケーラブルに、かつ確率的原則に従った方法で推定するための手法を開発すること。
• 1回の推定に数百CPU時間もかかる従来のモンテカルロベースの推定手法の計算不能性を克服すること。
• 岩石惑星のための物理的に妥当な事前分布を用いて、12種類の分子を含む300万件のスペクトルから成る大規模な合成データセットを生成すること。
• モンテカルロドロップアウトを用いてディープラーニング推定に不確実性評価を統合し、ベイジアン事後分布を模倣すること。
• 従来のML手法が3〜4種類に留まっていたのに対し、O2 や CH4 といった重要なバイオシグネチャーを含む12種類の大気分子をより多く推定可能にすること。

提案手法

• 教師ありディープラーニングフレームワークにより、300万件のパラメータ-スペクトルペアから成る合成データセットを用いて、観測スペクトルから大気パラメータへのマッピングを学習する1次元畳み込みニューラルネットワーク（CNN）を訓練する。
• データセットは、NASAの惑星スペクトルジェネレータ（PSG）を用い、惑星および大気パラメータに物理的に妥当な事前分布を適用して生成されたもので、12種類の分子を含む。
• CNNアーキテクチャは、複数の Conv1D、ReLU、MaxPool 層を経て、その後に全結合層を配置し、合計1800万パラメータを学習可能としている。
• 推論時にモンテカルロドロップアウトを適用することで、予測不確実性を推定し、ベイジアン事後分布を近似する。
• フレームワークはPyTorchで実装され、2000台のハイエンドVMを用いた分散コンピューティングでGoogleクラウドにデプロイされており、PSG統合のためのカスタムpypsgパッケージが開発された。
• モデル訓練には平均二乗誤差損失関数を用い、過学習を防ぐために10,000件の検証データセットと早期停止法を適用した。

実験結果

リサーチクエスチョン

• RQ1 合成スペクトルで訓練されたディープラーニングモデルは、岩石惑星の大気パラメータを高速かつ正確に推定可能か？
• RQ2 ディープニューラルネットワークにおけるモンテカルロドロップアウトは、従来のベイジアン推定手法と同等の不確実性推定を提供できるか？
• RQ3 提案手法の性能は、推定する大気分子の数に応じてどのようにスケーリングされるか？
• RQ4 300万件のスペクトルから成る大規模な合成データセットは、MLベースの大気推定の一般化性能および耐障害性を向上させるか？
• RQ5 MLモデルの推論速度は、従来のモンテカルロサンプルベースの推定手法と比べてどのように異なるか？

主な発見

• INARAは数秒で推論を実行でき、従来手法が数百CPU時間も要するのに対し、数個のオーダーの高速化を達成した。
• モデルはH2O、CO2、O2、N2、CH4 といった重要なバイオシグネチャを含む12種類の大気分子を正常に推定でき、従来のML手法が3〜4種類に留まっていたのを上回った。
• モンテカルロドロップアウトにより得られた予測分布は、真の大气パラメータを不確実性の範囲内に含んでおり、図1において赤い星と線が予測分布内に位置していることから実証された。
• 最も優れた性能を示したモデルは、1次元CNNであり、アーキテクチャは：Conv1d(64)–tanh–MaxPool–Conv1d(64)–relu–MaxPool–Conv1d(128)–relu–MaxPool–Conv1d(256)–relu–FC(256)–relu–FC(12) である。
• フレームワークは64エポックで110,000件のパラメータ-スペクトルペアを用いて学習され、過学習を防ぐために早期停止法と検証データセットが使用され、未学習のスペクトルに対しても良好な一般化性能を示した。
• 本研究は、岩石惑星を対象とした300万件のスペクトルから成る大規模な合成データセットを初めて提供し、今後のMLベースの大気推定研究を可能にする。