[论文解读] Estimation of log-Gaussian gamma processes with iterated posterior linearization and Hamiltonian Monte Carlo

Teemu Härkönen, Simo Särkkä|arXiv (Cornell University)|Feb 7, 2026

Gaussian Processes and Bayesian Inference被引用 0

一句话总结

本论文提出两种采样方案，将迭代后验线性化与哈密顿蒙特卡洛结合，用以估计对数高斯伽玛过程的后验，并在合成数据与实际数据上展示其与全量HMC性能相当但成本更低。

ABSTRACT

Stochastic processes are a flexible and widely used family of models for statistical modeling. While stochastic processes offer attractive properties such as inclusion of uncertainty properties, their inference is typically intractable, with the notable exception of Gaussian processes. Inference of models with non-Gaussian errors typically involves estimation of a high-dimensional latent variable. We propose two methods that use iterated posterior linearization followed by Hamiltonian Monte Carlo to sample the posterior distributions of such latent models with a particular focus on log-Gaussian gamma processes. The proposed methods are validated with two synthetic datasets generated from the log-Gaussian gamma process and a multiscale biocomposite stiffness model. In addition, we apply the methodology to an experimental Raman spectrum of argentopyrite.

研究动机与目标

• 为对数高斯伽玛过程等非高斯潜在随机过程的贝叶斯推断提供动机。
• 开发两种采样方案，利用迭代后验线性化来近似后验，然后再进行HMC。
• 证明所提出的方法在降低计算成本的同时达到与全HMC相当的结果。
• 将方法应用于合成数据集和拉曼光谱，以验证性能与适用性。

提出的方法

• 用 Gamma(y_k | exp(alpha_k), exp(beta_k)) 来建模正测量，其中 alpha 和 beta 是高斯过程的输出。
• 将 alpha(x) 和 beta(x) 表示为具有指定均值、协方差（平方指数核）及 nugget 项的高斯过程。
• 形成含有 alpha 和 beta 的GP先验以及超参数的先验的分层模型，从而实现后验采样。
• 引入迭代后验线性化，以通过仿射数据近似 y ≈ A^(T)[alpha; beta] + b^(T) + e 来近似边际后验 pi(alpha, beta | y)，在迭代 T 时得到一个高斯近似。
• 提出两种方案：(i) 先进行近似后验线性化，再对超参数进行HMC；(ii) 从近似后验到真实后验的 tempered 序列，两者均利用基于线性化的提议分布。
• 讨论实际实现，包括基于梯度的HMC/NUTS、预测条件化，以及对先验协方差的蒙特卡罗近似。

Figure 1: The log-Gaussian gamma process. Measurement data $\boldsymbol{y}$ is modeled as gamma-distributed random variables. The log-shape and log-rate parameters $\boldsymbol{\alpha}$ and $\boldsymbol{\beta}$ of the gamma distribution are modeled as Gaussian processes with parameters $\mu_{\alpha}

实验结果

研究问题

• RQ1 在对数高斯伽玛模型中，迭代后验线性化是否能为对数形状和对数速率过程的边际后验提供准确的仿射近似？
• RQ2 所提出的近似与 tempering 方案是否能在对数高斯伽玛过程上获得接近全HMC的后验估计？
• RQ3 在高维潜在模型中，近似线性化方法与全HMC 之间的计算权衡如何？
• RQ4 这些方法在合成数据与真实数据（包括如 Raman 光谱等光谱测量数据）上的泛化能力如何？

主要发现

• 两个提出的方案在对数高斯伽玛过程的后验估计方面，与全HMC相当。
• 方法在降低计算成本的同时达到与直接HMC相近的结果。
• 在两个合成数据集和一个实验 Raman 光谱上验证，展示对真实测量数据的适用性。
• 该方法可扩展至对数高斯 Cox 过程及类似潜在随机模型。
• 作者的 GitHub 仓库公开提供了软件与数据。

Figure 2: An example sequence of iterated posterior linearization for the log-shape process $\boldsymbol{\alpha}$ corresponding to the case shown in Figure 1 with $T=5$ iterations. Starting from the prior distribution at $t=0$ , the mean and covariance estimates are iteratively updated and refined u