[论文解读] Evaluating Summary Statistics with Mutual Information for Cosmological Inference

Ce Sui, Xiaosheng Zhao+2 more|arXiv (Cornell University)|Jul 11, 2023

Fractal and DNA sequence analysis被引用 4

一句话总结

本论文提出使用通过归一化流估计的互信息（MI）及Barber-Agakov下界，评估宇宙学推断中摘要统计量的信息量。结果表明，MI提供了一种稳健的、覆盖全参数空间的度量方法，可用于比较功率谱、三体谱和散射变换等统计量，显示在真实噪声和前景污染条件下，散射变换在捕捉再电离参数信息方面优于其他方法。

ABSTRACT

The ability to compress observational data and accurately estimate physical parameters relies heavily on informative summary statistics. In this paper, we introduce the use of mutual information (MI) as a means of evaluating the quality of summary statistics in inference tasks. MI can assess the sufficiency of summaries, and provide a quantitative basis for comparison. We propose to estimate MI using the Barber-Agakov lower bound and normalizing flow based variational distributions. To demonstrate the effectiveness of our method, we compare three different summary statistics (namely the power spectrum, bispectrum, and scattering transform) in the context of inferring reionization parameters from mock images of 21~cm observations with Square Kilometre Array. We find that this approach is able to correctly assess the informativeness of different summary statistics and allows us to select the optimal set of statistics for inference tasks.

研究动机与目标

• 开发一种全面的、覆盖全参数空间的度量方法，用于评估宇宙学推断中摘要统计量的有效性。
• 通过在全参数范围内评估统计量，克服基于基准点的方法（如Fisher分析和后验比较）的局限性。
• 引入互信息作为摘要统计量充分性的定量、信息论度量。
• 通过回归性能和先前的宇宙学结果验证基于MI的评估框架。
• 在真实观测条件下，识别出用于21厘米再电离参数估计的最 informative 摘要统计量。

提出的方法

• 使用Barber-Agakov下界估计摘要统计量与目标参数之间的互信息（MI），以确保可计算性。
• 采用基于归一化流的变分分布来近似真实MI，实现在高维设置下的可扩展估计。
• 将MI估计值作为摘要统计量充分性的代理指标，其中较高的MI表示参数相关的信息保留得更好。
• 通过LGBM进行特征选择，从高维统计量（如三体谱）中去除无信息特征，从而提升MI估计值。
• 通过LightGBM的回归性能（R²得分）验证MI估计值，结果显示其与基于MI的排序具有一致性。
• 在平方公里阵列（Square Kilometre Array）的21厘米天空图模拟数据上开展实验，模拟热噪声和前景残差。

实验结果

研究问题

• RQ1 互信息能否作为可靠且全面的度量，用于比较全参数空间内不同摘要统计量的信息量？
• RQ2 标准统计量（如功率谱和三体谱）与更先进的方法（如散射变换）相比，在捕捉再电离参数信息方面表现如何？
• RQ3 热噪声和前景残差等观测污染在多大程度上降低了统计量与目标参数之间的互信息？
• RQ4 基于MI的评估方法是否与经验回归性能及先前的宇宙学发现一致？
• RQ5 通过LGBM进行特征选择能否提升高维统计量（如三体谱）的MI估计值？若能，提升幅度如何？

主要发现

• 在所有污染水平下，散射变换均保持最高的互信息，表明其在再电离参数推断中具有更优的信息量。
• 功率谱表现出中等水平的MI值，在高噪声条件下优于三体谱。
• 在高污染条件下，三体谱的MI估计值显著下降，甚至在最极端情况下变为负值，表明其几乎未提供有用信息。
• 通过LGBM进行特征选择改善了三体谱的MI估计值，证实了三体谱的许多特征无信息量且易导致过拟合。
• MI估计值与回归性能（R²得分）高度一致，验证了基于MI的评估框架的可靠性。
• 热噪声和前景残差的存在使MI相比纯信号情况降低了高达50%，凸显了观测系统误差的影响。