[論文レビュー] Estimation of log-Gaussian gamma processes with iterated posterior linearization and Hamiltonian Monte Carlo

Teemu Härkönen, Simo Särkkä|arXiv (Cornell University)|Feb 7, 2026

Gaussian Processes and Bayesian Inference被引用数 0

ひとこと要約

紙は反復後部線形化とHamiltonian Monte Carloを組み合わせた二つのサンプリング方式を導入し、対数-Gaussian gamma 過程の事後分布を推定する。合成データと実データで完全なHMC性能と一致することを、低コストで示す。

ABSTRACT

Stochastic processes are a flexible and widely used family of models for statistical modeling. While stochastic processes offer attractive properties such as inclusion of uncertainty properties, their inference is typically intractable, with the notable exception of Gaussian processes. Inference of models with non-Gaussian errors typically involves estimation of a high-dimensional latent variable. We propose two methods that use iterated posterior linearization followed by Hamiltonian Monte Carlo to sample the posterior distributions of such latent models with a particular focus on log-Gaussian gamma processes. The proposed methods are validated with two synthetic datasets generated from the log-Gaussian gamma process and a multiscale biocomposite stiffness model. In addition, we apply the methodology to an experimental Raman spectrum of argentopyrite.

研究の動機と目的

• 非ガウス潜在確率過程である対数-Gaussian gamma過程などのベイズ推論を動機づける。
• 反復後部線形化を用いて後方分布を近似し、それに続くHMCを適用する2つのサンプリング方式を開発する。
• 提案手法が完全なHMCと比較可能な結果を、計算コストを削減して達成することを示す。
• 合成データセットと Ramanスペクトルへの適用を通じて性能と適用性を検証する。

提案手法

• 正の測定値を Gamma(y_k | exp(alpha_k), exp(beta_k)) とモデル化する。ここで alpha と beta はガウス過程の出力である。
• alpha(x) および beta(x) を、平均、共分散（平方指数関数）、および nugget 項を指定したガウス過程として表現する。
• GP事前分布を alpha, beta、および超パラメータの事前分布を含む階層モデルを定式化し、後方サンプリングを可能にする。
• 後方分布 pi(alpha, beta | y) を affine なデータ近似 y ≈ A^(T)[alpha; beta] + b^(T) + e によって近似する反復後部線形化を導入し、反復 T でガウス近似を得る。
• 二つのスキームを提案する:(i) 後方線形化を近似し、その後ハイパーパラメータ上でHMCを回す，同時に線形化ベースの提案を活用する,(ii) 近似後方分布から真の後方分布へと tempered な列を用いるスキームで、いずれも線形化に基づく提案を活用する。
• 実装上の注意として、勾配ベースのHMC/NUTS、予測条件付け、事前共分散のモンテカルロ近似などを含む実用的な実装を議論する。

Figure 1: The log-Gaussian gamma process. Measurement data $\boldsymbol{y}$ is modeled as gamma-distributed random variables. The log-shape and log-rate parameters $\boldsymbol{\alpha}$ and $\boldsymbol{\beta}$ of the gamma distribution are modeled as Gaussian processes with parameters $\mu_{\alpha}

実験結果

リサーチクエスチョン

• RQ1 反復後部線形化は、対数-形状および対数-レート過程の周辺後方のアファイン近似を提供できるか（対数-Gaussian gammaモデルにおいて）？
• RQ2 提案された近似および tempered スキームは、対数-Gaussian gamma 過程に対して完全なHMCと比較可能な事後推定をもたらすか？
• RQ3 高次元潜在モデルにおける近似線形化アプローチと完全HMCの計算上のトレードオフはどのようなものか？
• RQ4 方法は合成データおよび Ramanスペクトルのような実データにどれだけ一般化できるか？

主な発見

• 提案された2つのスキームは、対数-Gaussian gamma過程の事後推定を完全HMCと比較可能な水準にする。
• 方法は、計算コストを削減しつつ直接HMCと同等の結果を得る。
• 合成データ2種と実験的な Ramanスペクトルで検証が示され、実世界の測定への適用性を示す。
• このアプローチは log-Gaussian Cox過程や類似の潜在的確率過程モデルへ拡張可能である。
• 著者のGitHubリポジトリでソフトウェアとデータが公開されている。

Figure 2: An example sequence of iterated posterior linearization for the log-shape process $\boldsymbol{\alpha}$ corresponding to the case shown in Figure 1 with $T=5$ iterations. Starting from the prior distribution at $t=0$ , the mean and covariance estimates are iteratively updated and refined u