[논문 리뷰] To Sample or Not To Sample: Retrieving Exoplanetary Spectra with Variational Inference and Normalising Flows

Kai Hou Yip, Quentin Changeat외 2명|arXiv (Cornell University)|2022. 05. 14.

Reservoir Engineering and Simulation Methods인용 수 5

한 줄 요약

이 논문은 정규화 흐름을 사용한 변분 추론 프레임워크를 소개하여 외계행성 대기 추정을 가속화한다. 기존의 샘플링 기반 방법에 비해 최대 75% 적은 전방 모델 호출을 통해 높은 정밀도의 사후 분포를 달성한다. 이는 빠르고 미분 가능한 베이지안 추론과 새로운 미분 가능한 복사열 전달 모델인 Diff-τ를 통해 공식적인 모델 선택을 가능하게 하며, 대규모 사전 계산된 데이터셋 없이 단일 관측치에서 훈련된다.

ABSTRACT

Current endeavours in exoplanet characterisation rely on atmospheric retrieval to quantify crucial physical properties of remote exoplanets from observations. However, the scalability and efficiency of the technique are under strain with increasing spectroscopic resolution and forward model complexity. The situation becomes more acute with the recent launch of the James Webb Space Telescope and other upcoming missions. Recent advances in Machine Learning provide optimisation-based Variational Inference as an alternative approach to perform approximate Bayesian Posterior Inference. In this investigation we combined Normalising Flow-based neural network with our newly developed differentiable forward model, Diff-Tau, to perform Bayesian Inference in the context of atmospheric retrieval. Using examples from real and simulated spectroscopic data, we demonstrated the superiority of our proposed framework: 1) Training Our neural network only requires a single observation; 2) It produces high-fidelity posterior distributions similar to sampling-based retrieval and; 3) It requires 75% less forward model computation to converge. 4.) We performed, for the first time, Bayesian model selection on our trained neural network. Our proposed framework contribute towards the latest development of a neural-powered atmospheric retrieval. Its flexibility and speed hold the potential to complement sampling-based approaches in large and complex data sets in the future.

연구 동기 및 목표

• 고차원, 고해상도 외계행성 스펙트로스코피에서 기존의 샘플링 기반 대기 추정의 계산적 병목 현상을 해결한다.
• 외계행성 추정의 베이지안 사후 추론을 위한 마르코프 체인 몬테카를로 및 네스트드 샘플링의 스케일러블하고 효율적인 대안을 개발한다.
• 최소한의 데이터, 특히 단일 관측치 훈련을 포함하여, 정규화 흐름을 사용한 엔드 투 엔드 미분 가능한 추정을 가능하게 한다.
• ELBO와 미분 가능한 우도를 활용해 베이지안 증거를 계산함으로써 공식적인 베이지안 모델 비교를 통합한다.
• 정확도와 불확실성 정량화를 유지하면서 대규모 사전 계산된 룩업 테이블에 대한 의존도를 줄인다.

제안 방법

• 외계행성 대기 추정에서 사후 분포를 근사하기 위해 정규화 흐름 기반의 변분 추론 프레임워크를 제안한다.
• 전방 모델을 통해 역전파가 가능한 효율적인 훈련을 가능하게 하는, 미분 가능한 복사열 전달 모델인 Diff-τ를 개발한다.
• 근사 사후와 진짜 사후 간의 KL 발산을 최소화하기 위해 Evidence Lower Bound (ELBO) 목적함수를 사용해 정규화 흐름을 훈련한다.
• 대규모 사전 계산된 훈련 데이터셋이 필요 없도록, 단일 관측치로 신경망을 훈련한다.
• ELBO와 미분 가능한 우도를 활용해 베이지안 증거와 베이즈 인과를 계산하여 공식적인 모델 비교를 수행한다.
• 관측 노이즈를 우도 함수에 직접 통합하여 불확실성 전파를 통합한다.

실험 결과

연구 질문

• RQ1 단일 관측치에서 훈련된 정규화 흐름이 외계행성 추정에서 기존의 샘플링 기반 방법과 유사한 사후 근사를 달성할 수 있는가?
• RQ2 Diff-τ와 같은 미분 가능한 전방 모델은 수렴에 필요한 전방 모델 호출 수를 얼마나 줄일 수 있는가?
• RQ3 정규화 흐름을 활용한 변분 추론이 대기 추정에서 공식적인 베이지안 모델 선택을 가능하게 하는가?
• RQ4 기존의 MCMC 및 네스트드 샘플링 방법과 비교해 본 프레임워크의 정확도와 효율성은 어떠한가?
• RQ5 이 프레임워크는 계산 비용이 높은 샘플링 기반 추정을 수행하기 전에 빠르고 정보적인 사전 분포 또는 필터링 도구로 활용될 수 있는가?

주요 결과

• 제안된 프레임워크는 샘플링 기반 방법에 비해 전방 모델 호출 수를 최대 75% 감소시키면서도 높은 정밀도의 사후 분포를 유지한다.
• 이 방법은 실제 및 시뮬레이션된 스펙트로스코픽 데이터에서 기존의 샘플링 기반 추정과 매우 잘 일치하는 사후 근사를 달성한다.
• 신경망 훈련에 단일 관측치만 필요하여 대규모 사전 계산된 훈련 세트가 필요 없어진다.
• ELBO에서 직접적으로 베이지안 증거와 베이즈 인과를 계산함으로써 공식적인 베이지안 모델 선택이 가능해진다.
• 신경망이 생성하는 불확실성 구간은 기존 추정 방법과 일치하여 신뢰성의 타당성을 입증한다.
• 미분 가능한 복사열 전달 모델인 Diff-τ는 엔드 투 엔드 역전파를 가능하게 하여 효율적인 훈련과 변분 추론과의 통합을 가능하게 한다.