[论文解读] HNPE: Leveraging Global Parameters for Neural Posterior Estimation

Pedro Luiz Coelho Rodrigues, Thomas Moreau+2 more|arXiv (Cornell University)|Feb 12, 2021

Neural dynamics and brain function参考文献 35被引用 5

一句话总结

HNPE 提出了一种无需似然函数的推断方法，通过在多个观测中共享全局参数，提升了在强不可辨模型中的后验估计。通过将归一化流与深度集合（deepset）架构结合，对一组辅助观测进行条件化，HNPE 实现了更锐利、更可靠的后验估计——在神经科学模型中得到验证，其中全局参数（如增益）在不同条件下能可靠地集中，而局部参数（如 C）在睁眼与闭眼状态之间清晰分离。

ABSTRACT

Inferring the parameters of a stochastic model based on experimental observations is central to the scientific method. A particularly challenging setting is when the model is strongly indeterminate, i.e. when distinct sets of parameters yield identical observations. This arises in many practical situations, such as when inferring the distance and power of a radio source (is the source close and weak or far and strong?) or when estimating the amplifier gain and underlying brain activity of an electrophysiological experiment. In this work, we present hierarchical neural posterior estimation (HNPE), a novel method for cracking such indeterminacy by exploiting additional information conveyed by an auxiliary set of observations sharing global parameters. Our method extends recent developments in simulation-based inference (SBI) based on normalizing flows to Bayesian hierarchical models. We validate quantitatively our proposal on a motivating example amenable to analytical solutions and then apply it to invert a well known non-linear model from computational neuroscience, using both simulated and real EEG data.

研究动机与目标

• 解决在射电源或电生理信号推断等场景中，不同参数集产生相同观测结果的强不可辨模型挑战。
• 在似然函数难以计算且后验分布因参数非单射性而呈现脊状或香蕉形结构时，改进模拟推断（SBI）中的后验估计。
• 通过利用辅助观测增强统计效能，将神经后验估计扩展至具有共享全局参数的层次模型。
• 开发一种可扩展的、摊销化的推断框架，对共享全局参数的观测集合进行条件化，实现稳健的不确定性量化。

提出的方法

• 提出一种分层神经后验估计（HNPE）框架，将参数建模为局部（θ_i）和全局（β）两部分，其中 β 在所有观测中共享。
• 使用一对归一化流：一个用于建模联合后验 p(α₁,…,α_N,β|X)，另一个用于对完整观测集 X 进行条件化。
• 采用深度集合架构（Zaheer 等，2017）处理无序观测集 X，实现对辅助数据的置换等变条件化。
• 将序列 SNPE-C 训练过程（Greenberg 等，2019）进行适应，通过迭代模拟与密度估计学习后验近似。
• 将后验近似条件化于整个观测集 X = {x₁,…,x_N}，以利用共享全局参数的多个观测中的统计优势。
• 引入一种训练协议，使用不同 N 值的独立同分布模拟，实现对不同大小辅助观测集合的摊销化推断。

实验结果

研究问题

• RQ1 在似然函数不可用的强不可辨模型中，共享全局参数的辅助观测是否能显著改善后验估计？
• RQ2 当后验分布因参数非单射性而高度结构化（如香蕉形）时，HNPE 相较于标准 SBI 方法表现如何？
• RQ3 在真实神经科学模型中，使用脑电信号数据，HNPE 能在多大程度上恢复出不同参数区间（如睁眼与闭眼状态）？
• RQ4 当似然函数不可用且模拟存在噪声时，该方法能否可靠地同时估计全局与局部参数？
• RQ5 包含多个辅助观测如何影响关键模型参数后验分布的集中与分离？

主要发现

• 当 N=9 个辅助观测时，全局增益参数在睁眼与闭眼两种条件下均能可靠集中，表明共享参数被有效学习。
• 神经质模型参数 C 的后验在不同条件下明显分离：闭眼时峰值约为 130，睁眼时约为 70，与先前理论分析一致。
• 该方法成功在真实脑电信号数据中恢复出具有生物学意义的参数差异，验证了其在神经科学应用中的有效性。
• 引入辅助观测后，局部参数的后验估计显著更锐利、更清晰，表明统计效能得到提升。
• 基于深度集合的无序观测集条件化机制，实现了对不同数量辅助观测的高效泛化。
• 在高维、非线性且非单射模型中，该方法在后验集中度与不确定性量化方面优于非层次基线方法。