[论文解读] Correlated signal inference by free energy exploration

T. A. Enßlin, Jakob Knollmüller|arXiv (Cornell University)|Dec 26, 2016

Gaussian Processes and Bayesian Inference被引用 2

一句话总结

本文在信息场理论（IFT）框架下提出自由能探索（FrEE）策略，以解决相关信号推断（CSI）问题，即联合推断信号场及其未知相关结构。通过利用吉布斯自由能形式化方法，不进行对冗余场的边缘化，FrEE 同时估计信号均值、不确定性及相关结构——在 NIFTy 中实现的正态、对数正态及泊松对数正态模型中，相比先前方法展现出更高的精度与效率。

ABSTRACT

The inference of correlated signal fields with unknown correlation structures is of high scientific and technological relevance, but poses significant conceptual and numerical challenges. To address these, we develop the correlated signal inference (CSI) algorithm within information field theory (IFT) and discuss its numerical implementation. To this end, we introduce the free energy exploration (FrEE) strategy for numerical information field theory (NIFTy) applications. The FrEE strategy is to let the mathematical structure of the inference problem determine the dynamics of the numerical solver. FrEE uses the Gibbs free energy formalism for all involved unknown fields and correlation structures without marginalization of nuisance quantities. It thereby avoids the complexity marginalization often impose to IFT equations. FrEE simultaneously solves for the mean and the uncertainties of signal, nuisance, and auxiliary fields, while exploiting any analytically calculable quantity. Finally, FrEE uses a problem specific and self-tuning exploration strategy to swiftly identify the optimal field estimates as well as their uncertainty maps. For all estimated fields, properly weighted posterior samples drawn from their exact, fully non-Gaussian distributions can be generated. Here, we develop the FrEE strategies for the CSI of a normal, a log-normal, and a Poisson log-normal IFT signal inference problem and demonstrate their performances via their NIFTy implementations.

研究动机与目标

• 解决在先验未知底层相关结构时推断相关信号场的挑战。
• 开发一种数值高效且精确的方法，联合估计信号场、其不确定性及相关参数，而无需对冗余场进行边缘化。
• 通过将相关结构的不确定性纳入信号重建过程，扩展现有 IFT 方法。
• 为涵盖高斯、对数正态及泊松对数正态似然的多样化统计模型，提供统一的 CSI 框架。

提出的方法

• FrEE 策略采用吉布斯自由能形式化方法，定义信号场、相关结构及辅助场的联合推断问题，避免对冗余参数进行边缘化。
• 通过信息哈密顿量形式化，编码所有可用数据、先验知识及似然模型，包括高斯、对数正态及泊松对数正态似然。
• 利用自由能的泛函导数推导后验均值与协方差，实现对信号与相关性不确定性的联合估计。
• 采用随机探测技术计算基于迹的量（如对角线与谐波空间不确定性），并通过截断操作强制满足物理边界。
• 该方法在 NIFTy 中实现，NIFTy 是一个用于信号推断的数值库，支持复杂高维问题的可扩展与灵活应用。
• 该算法通过遵循自由能的数学结构动态演化场估计，确保与底层统计模型的一致性。

实验结果

研究问题

• RQ1 如何在不边缘化冗余相关参数的前提下，以统计一致的方式联合推断信号与相关结构？
• RQ2 相关性不确定性对信号重建精度与可靠性有何影响？
• RQ3 自由能形式化如何适应 IFT 中的非高斯似然模型（如对数正态与泊松对数正态模型）？
• RQ4 FrEE 策略在收敛速度与准确性方面是否优于现有的吉布斯采样或变分推断方法？
• RQ5 在复杂 IFT 问题中，高效计算高维场不确定性与基于迹的算子需要何种数值策略？

主要发现

• FrEE 策略成功实现了对信号场及其未知相关结构的同步推断，对两者均实现了精确的不确定性量化。
• 该方法通过在自由能形式化中保留所有场，避免了边缘化的计算负担，从而实现更准确、更稳定的推断。
• 在正态、对数正态及泊松对数正态模型中，FrEE 实现了精确的信号重建，并将相关性不确定性正确传播至最终估计。
• 使用 NIFTy 的数值实验表明，FrEE 收敛可靠，且保持物理一致性，如强制非负不确定性与有界的相关性估计。
• 基于随机探测的迹估计技术，使高维场景下场不确定性的可扩展计算成为可能。
• 在 NIFTy 中的实现支持对天体物理学、地球物理学及数据科学中多样化实际问题的灵活高效应用。