[논문 리뷰] Automatic physical inference

Tom Charnock, Guilhem Lavaux외 1명|arXiv (Cornell University)|2018. 02. 10.

Computational Physics and Python Applications인용 수 5

한 줄 요약

이 논문은 정보 최대화 신경망(IMNNs)을 소개한다. 이는 가능도 자유 추론을 위한 최적의 비선형 데이터 요약을 자동으로 학습하는 강화학습 방법이다. 피셔 정보를 최대화함으로써, 테스트 케이스에서는 거의 정확한 사후분포를 도출하며, 천체물리학 문제인 라이만-알파 포레스트 및 LISA 중력파 데이터에서의 우주론적 파rameter 추정과 같은 복잡한 문제에서 선형 압축보다 뛰어난 성능을 보인다.

ABSTRACT

Compressing large data sets to a manageable number of summaries that are informative about the underlying parameters vastly simplifies both frequentist and Bayesian inference. When only simulations are available, these summaries are typically chosen heuristically, so they may inadvertently miss important information. We introduce a simulation-based reinforcement learning technique that trains artificial neural networks to find non-linear functionals of data that maximize Fisher information: information maximizing neural networks (IMNNs). In test cases where the posterior can be derived exactly, likelihood-free inference based on automatically derived IMNN summaries produces nearly exact posteriors, showing that these summaries are good approximations to sufficient statistics. In a series of numerical examples of increasing complexity and astrophysical relevance we show that IMNNs are robustly capable of automatically finding optimal, non-linear summaries of the data even in cases where linear compression fails: inferring the variance of Gaussian signal in the presence of noise; inferring cosmological parameters from mock simulations of the Lyman-$\alpha$ forest in quasar spectra; and inferring frequency-domain parameters from LISA-like detections of gravitational waveforms. In this final case, the IMNN summary outperforms linear data compression by avoiding the introduction of spurious likelihood maxima. We anticipate that the automatic physical inference method described in this paper will be essential to obtain both accurate and precise cosmological parameter estimates from complex and large astronomical data sets, including those from LSST, Euclid, and WFIRST.

연구 동기 및 목표

• 충분 통계량이 알려져 있지 않은 경우 대규모 시뮬레이션 기반 데이터셋에서 정보가 풍부하고 저차원의 요약을 선택하는 데 도전하는 것.
• 비정보적인 정보를 손실할 수 있는 히우리스틱 또는 선형 요약 선택 방법의 한계를 극복하는 것.
• 복잡한 고차원 데이터에 대해 자동으로 비선형적이고 정보를 최대화하는 요약을 식별하는 방법을 개발하는 것.
• LSST, Euclid, WFIRST와 같은 대규모 천문학적 조사에서 정확하고 정밀한 우주론적 파rameter 추론을 가능하게 하는 것.

제안 방법

• 이 방법은 강화학습을 활용하여 피셔 정보를 최대화하는 데이터의 비선형 함수를 학습하는 인공 신경망을 훈련시킨다.
• 훈련 목표는 모델 파rameter에 대해 요약 통계량의 피셔 정보를 최적화하는 것이다.
• 이 방법은 시뮬레이션 기반이며, 명시적 가능도가 필요 없이 단지 정방향 시뮬레이션에 의존하여 네트워크를 훈련시킨다.
• 네트워크는 기저 파rameter에 대한 최대한의 정보를 유지하는 요약을 생성하도록 훈련되어, 충분 통계량을 근사한다.
• 이 방법은 점차 복잡해지는 문제들에 적용된다: 정규 분산 추정, 라이만-알파 포레스트 시뮬레이션, LISA 중력파 웨이브폼 분석.
• 결과로 도출된 요약은 가능도 자유 추론에 사용되며, 명시적 가능도 계산 없이 사후분포 근사가 가능하다.

실험 결과

연구 질문

• RQ1 신경망이 시뮬레이션 기반 추론에서 피셔 정보를 최대화하는 최적의 비선형 데이터 요약을 자동으로 학습할 수 있는가?
• RQ2 복잡한 천체물리학적 추론 작업에서 자동으로 학습된 요약의 성능이 선형 압축보다 어떻게 다른가?
• RQ3 진짜 사후분포가 해석적으로 다룰 수 있을 때, IMNN에서 도출된 요약은 거의 정확한 사후분포를 생성할 수 있는가?
• RQ4 이 방법은 중력파 웨이브폼과 같은 고차원 비선형 데이터에서 임의의 가능도 최댓값을 유도하지 않는가?
• RQ5 이 방법은 LSST, Euclid, WFIRST와 같은 대규모 복잡한 천문학 데이터셋에 스케일링 가능한가?

주요 결과

• 해석적으로 다룰 수 있는 사후분포가 있는 테스트 케이스에서, IMNN 요약을 사용한 가능도 자유 추론은 거의 정확한 사후분포를 도출했다.
• 선형 압축이 실패하는 경우, 특히 잡음과 복잡한 신호 구조가 존재할 때, IMNNs는 최적의 비선형 요약을 성공적으로 식별했다.
• 라이만-알파 포레스트 모의 시뮬레이션에서는 고차원적이고 비선형적인 데이터에도 불구하고 IMNNs가 정확한 우주론적 파rameter 추정을 제공했다.
• LISA 유사 중력파 탐지에서, IMNN 요약은 선형 압축보다 뛰어나, 임의의 가능도 최댓값을 유도하지 않았다.
• 이 방법은 단순한 정규 분산 추정에서부터 실제 천체물리학적 시뮬레이션에 이르기까지 점차 증가하는 복잡성에 대해 뛰어난 강건성을 보였다.
• 결과는 IMNNs가 대규모 우주론적 추론에서 히우리스틱 또는 선형 요약 선택의 스케일러블하고 신뢰할 수 있는 대안이 될 수 있음을 시사한다.