[论文解读] Hybrid Summary Statistics

T. Lucas Makinen, Ce Sui+3 more|arXiv (Cornell University)|Oct 10, 2024

Bayesian Methods and Mixture Models被引用 4

一句话总结

本文提出了一种混合总结统计量，结合传统领域知识统计量（如功率谱）与通过最大化与感兴趣参数的互信息而训练的神经网络输出。通过优化条件互信息，该方法比仅使用神经网络或将其与现有总结统计量拼接的方法更有效地提取非高斯特征，在宇宙学推断的低数据环境下显著提升了鲁棒性和信息捕获能力。

ABSTRACT

We present a way to capture high-information posteriors from training sets that are sparsely sampled over the parameter space for robust simulation-based inference. In physical inference problems, we can often apply domain knowledge to define traditional summary statistics to capture some of the information in a dataset. We show that augmenting these statistics with neural network outputs to maximise the mutual information improves information extraction compared to neural summaries alone or their concatenation to existing summaries and makes inference robust in settings with low training data. We introduce 1) two loss formalisms to achieve this and 2) apply the technique to two different cosmological datasets to extract non-Gaussian parameter information.

研究动机与目标

• 在训练数据稀疏且生成成本高昂时，提升基于模拟的推断中的信息提取能力。
• 解决传统总结统计量（如功率谱）在捕捉宇宙学数据集中非高斯特征方面的局限性。
• 开发一种方法，通过显式最大化与参数的互信息来增强神经网络总结统计量，条件于现有的静态总结统计量。
• 在低数据设置下，展示在宇宙参数估计中具有更强鲁棒性和改进的推断性能。

提出的方法

• 该方法学习一个神经网络总结统计量 s(d)，使其最大化条件互信息 I(s;θ|t)，其中 t 是数据的预定义静态总结统计量。
• 采用两种损失形式：后验熵（EPE）损失，通过最小化后验估计 q(θ|s,t) 的熵来实现；交叉熵（CE）损失，将互信息最大化问题转化为对比分类问题。
• 神经网络总结统计量 s 被训练为与现有总结统计量 t（如 21cm 或弱引力透镜数据中的功率谱）互补。
• 最终后验分布通过在拼接后的 s 和 t 上使用掩码自回归流（MAF）进行估计，从而实现不同总结类型之间的一致比较。
• 该方法在两个宇宙学数据集上进行了验证：21cm 重电离期数据和分层弱引力透镜数据，两者均包含非高斯特征。
• 消融研究将混合总结统计量与仅使用神经网络的模型及拼接模型进行比较，性能通过在不同训练数据规模下的后验精度和覆盖率进行评估。

Figure 1: Schematic for learning a hybrid summary statistic s with a choice of mutual information maximiser and existing static t . Black boxes denote neural functions to be learned.

实验结果

研究问题

• RQ1 结合传统与神经网络总结统计量的混合方法，是否能比仅使用神经网络或将其与现有总结统计量拼接更有效地提取非高斯信息？
• RQ2 在低数据环境下，通过条件于现有总结统计量来最大化神经网络总结统计量与参数之间的互信息，是否能提升推断的鲁棒性？
• RQ3 不同的互信息优化目标（EPE 与 CE）在捕获宇宙参数信息方面是否表现相当？
• RQ4 在训练数据有限时，混合方法在多大程度上优于更大的独立训练的神经网络？
• RQ5 该方法是否能在保留传统总结统计量（如功率谱）可解释性的同时，从复杂非高斯特征中解锁额外信息？

主要发现

• EPE 与 CE 损失形式均产生高度相似的后验估计，证实了互信息最大化方法的鲁棒性与一致性。
• 在 21cm 数据中，混合总结统计量显著优于仅使用功率谱的推断，成功捕获了功率谱本身无法识别的非高斯特征。
• 在弱引力透镜推断中，即使训练数据减少至 500 次模拟，混合总结统计量仍保持优越性能，优于独立训练的神经网络和拼接模型。
• 在低数据环境下，该混合方法使轻量级卷积神经网络（CNN）比更大规模的独立训练 CNN 更有效地提取非高斯特征。
• 当训练数据减少时，混合方法的性能下降速度慢于其他方法，表现出更强的优化稳定性和鲁棒性。
• 结果表明，将神经网络总结统计量条件于已有总结统计量，可引导网络聚焦于互补的高信息量特征，从而提升学习效率。

Figure 2: Both 21cm and weak lensing data exhibit non-Gaussian features (upper and lower left panels). Both EPE and CE loss formalisms result in consistent, tighter posteriors than power spectrum alone indicating information extraction from non-Gaussian features in the 21cm data (right). The black d