[论文解读] Automatic physical inference

Tom Charnock, Guilhem Lavaux+1 more|arXiv (Cornell University)|Feb 10, 2018

Computational Physics and Python Applications被引用 5

一句话总结

本文提出信息最大化神经网络（IMNNs），一种强化学习方法，可自动学习最优的非线性数据摘要，用于似然-free推断。通过最大化费舍尔信息，IMNNs 在测试案例中生成的摘要可得到近乎精确的后验分布，其性能优于在复杂天体物理学问题（如从莱曼-α森林和LISA引力波数据中估计宇宙学参数）中的线性压缩方法。

ABSTRACT

Compressing large data sets to a manageable number of summaries that are informative about the underlying parameters vastly simplifies both frequentist and Bayesian inference. When only simulations are available, these summaries are typically chosen heuristically, so they may inadvertently miss important information. We introduce a simulation-based reinforcement learning technique that trains artificial neural networks to find non-linear functionals of data that maximize Fisher information: information maximizing neural networks (IMNNs). In test cases where the posterior can be derived exactly, likelihood-free inference based on automatically derived IMNN summaries produces nearly exact posteriors, showing that these summaries are good approximations to sufficient statistics. In a series of numerical examples of increasing complexity and astrophysical relevance we show that IMNNs are robustly capable of automatically finding optimal, non-linear summaries of the data even in cases where linear compression fails: inferring the variance of Gaussian signal in the presence of noise; inferring cosmological parameters from mock simulations of the Lyman-$\alpha$ forest in quasar spectra; and inferring frequency-domain parameters from LISA-like detections of gravitational waveforms. In this final case, the IMNN summary outperforms linear data compression by avoiding the introduction of spurious likelihood maxima. We anticipate that the automatic physical inference method described in this paper will be essential to obtain both accurate and precise cosmological parameter estimates from complex and large astronomical data sets, including those from LSST, Euclid, and WFIRST.

研究动机与目标

• 为解决在缺乏充分统计量时，从大规模基于模拟的数据集中选择信息丰富且低维的摘要所面临的挑战。
• 克服启发式或线性摘要选择方法可能丢失关键信息的局限性。
• 开发一种可自动识别复杂高维数据中非线性、信息最大化摘要的方法。
• 实现从大规模天文调查（如LSST、Euclid和WFIRST）中对宇宙学参数进行准确且精确的推断。

提出的方法

• 该方法采用强化学习训练人工神经网络，以学习最大化费舍尔信息的数据非线性泛函。
• 训练目标是针对模型参数优化摘要统计量的费舍尔信息。
• 该方法基于模拟，仅依赖前向模拟训练网络，无需显式似然函数。
• 网络被训练以生成保留底层参数最大信息的摘要，近似充分统计量。
• 该方法被应用于逐步复杂的问题：高斯方差估计、莱曼-α森林模拟和LISA引力波波形分析。
• 所得摘要用于似然-free推断，实现在无需显式计算似然函数情况下的后验近似。

实验结果

研究问题

• RQ1 神经网络能否在基于模拟的推断中自动学习到最大化费舍尔信息的最优非线性数据摘要？
• RQ2 在复杂的天体物理推断任务中，自动学习的摘要与线性压缩相比表现如何？
• RQ3 当真实后验可解析求解时，IMNN生成的摘要能否产生近乎精确的后验分布？
• RQ4 该方法是否能避免在高维非线性数据（如引力波波形）中引入虚假的似然极大值？
• RQ5 该方法能否扩展到LSST、Euclid和WFIRST等大型复杂天文数据集？

主要发现

• 在后验可解析求解的测试案例中，使用IMNN摘要的似然-free推断产生了近乎精确的后验分布。
• IMNN在传统线性压缩失败的情况下成功识别出最优非线性摘要，尤其是在存在噪声和复杂信号结构时。
• 在莱曼-α森林模拟数据中，IMNN在高维且非线性数据下仍能提供准确的宇宙学参数估计。
• 在类似LISA的引力波探测中，IMNN摘要优于线性压缩，避免了引入虚假的似然极大值。
• 该方法在复杂度逐步提升的任务中表现出稳健性，从简单的高斯方差估计到真实的天体物理模拟均有效。
• 结果表明，IMNN可作为大规模宇宙学推断中启发式或线性摘要选择的可扩展且可靠的替代方案。