[論文レビュー] Noise Estimation in Gaussian Process Regression

Siavash Ameli, Shawn C. Shadden|arXiv (Cornell University)|Jun 20, 2022

Gaussian Processes and Bayesian Inference被引用数 5

ひとこと要約

本稿では、ハイパーパrameter推定問題を1変数の根を求めることに還元することで、ガウス過程回帰におけるノイズおよび相関誤差分散の計算的に効率的な推定手法を提案する。マージナル尤度の解析的境界と漸近的挙動を導出することにより、高次元空間における反復的最適化に依存せずに、ロバストでスケーラブルなパrameter推定が可能になる。

ABSTRACT

We develop a computational procedure to estimate the covariance hyperparameters for semiparametric Gaussian process regression models with additive noise. Namely, the presented method can be used to efficiently estimate the variance of the correlated error, and the variance of the noise based on maximizing a marginal likelihood function. Our method involves suitably reducing the dimensionality of the hyperparameter space to simplify the estimation procedure to a univariate root-finding problem. Moreover, we derive bounds and asymptotes of the marginal likelihood function and its derivatives, which are useful to narrowing the initial range of the hyperparameter search. Using numerical examples, we demonstrate the computational advantages and robustness of the presented approach compared to traditional parameter optimization.

研究の動機と目的

• 追加ノイズを伴うガウス過程回帰における高次元ハイパーパrameter最適化の計算的課題に対処すること。
• 半パラメトリックモデルにおける相関誤差分散およびi.i.d.ノイズ分散の両方のロバストで効率的な推定を可能にすること。
• プロファイリング技術を用いて、多次元最適化問題を1変数の根の探索問題に還元すること。
• マージナル尤度およびその導関数の解析的境界と漸近的挙動を導出し、探索区間を狭めるための基盤を提供すること。
• 従来の勾配ベースやグローバル最適化手法と比較して、収束性と計算効率を向上させること。

提案手法

• ノイズおよび相関誤差分散をプロファイリングすることでハイパーパrameter空間を縮小し、問題を1変数の根の探索問題に変換する。
• 混合共分散構造 $\Sigma = \sigma^2 K(\mathbf{x},\mathbf{x}'|\boldsymbol{\theta}) + \sigma_0^2 I(\mathbf{x},\mathbf{x}')$ を持つガウス過程モデルのマージナル尤度関数を活用する。
• 大きな $\eta = \sigma^2 / \sigma_0^2$ の極限におけるマージナル尤度およびその導関数の漸近的展開を導出し、探索空間の解析的境界を可能にする。
• 漸近的状態において、逆共分散行列および射影演算子の近似にノイマン級数展開を用いる。
• 射影行列 $\mathbf{Q} = \mathbf{X}(\mathbf{X}^\top\mathbf{X})^{-1}\mathbf{X}^\top$ 及びその直交補完 $\mathbf{Q}_\perp = \mathbf{I} - \mathbf{Q}$ を用いて問題を分解する。
• 主な構成要素には、$\mathbf{P}_\eta = \mathbf{K}_\eta^{-1}\mathbf{X}(\mathbf{X}^\top\mathbf{K}_\eta^{-1}\mathbf{X})^{-1}\mathbf{X}^\top\mathbf{K}_\eta^{-1}$ の漸近的展開と $\mathbf{M}_{1,\eta} = \mathbf{K}_\eta^{-1}\mathbf{P}_\eta$ があり、$\eta^{-1}$ のべき級数として簡略化された形が得られる。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程回帰におけるノイズおよび相関誤差分散の共同推定を、1変数の根の探索問題に還元できるか？
• RQ2 信号対ノイズ比が大きい極限におけるマージナル尤度およびその導関数の漸近的挙動は何か？
• RQ3 マージナル尤度の解析的境界は、ハイパーパrameter最適化のロバスト性を向上させるためにどのように利用できるか？
• RQ4 提案手法は、従来の最適化手法と比較して収束性および計算コストの面で優れているか？
• RQ5 病的な条件数や高次元の設計行列下でも、この手法は安定的かつ正確に機能するか？

主な発見

• 元の多次元最適化問題が1変数の根の探索問題に簡略化され、計算が著しく容易化される。
• マージナル尤度およびその導関数の漸近的展開が $\mathcal{O}(\eta^{-3})$ まで導出され、探索空間の高精度な境界が可能になる。
• 射影行列 $\mathbf{P}_\eta$ は漸近的に $\mathbf{P}_\eta = \mathbf{Q} + \frac{1}{\eta}\mathbf{Q}_\perp\mathbf{K}\mathbf{Q} - \frac{1}{\eta^2}\mathbf{Q}_\perp(\mathbf{K}\mathbf{Q})^2 + \mathcal{O}(\eta^{-3})$ と展開される。
• 行列 $\mathbf{M}_{1,\eta} = \mathbf{K}_\eta^{-1}\mathbf{P}_\eta$ は $\frac{1}{\eta}\mathbf{Q}(\mathbf{I} - \frac{1}{\eta}\mathbf{K}\mathbf{Q} + \frac{1}{\eta^2}(\mathbf{K}\mathbf{Q})^2) + \mathcal{O}(\eta^{-4})$ に簡略化されることが示された。
• 数値例により、特に高次元または病的な条件数を持つ設定において、標準的な最適化手法と比較して優れた計算効率とロバスト性が確認された。