[論文レビュー] Propriety of the reference posterior distribution in Gaussian Process modeling

Joseph Muré|arXiv (Cornell University)|May 23, 2018

Statistical Methods and Inference参考文献 19被引用数 7

ひとこと要約

本稿は、滑らかな等方的相関カーネル（特に指数型（ρ=2）、Matérn（ν≥1）、有理二次型）を備えたガウス過程モデルにおける参考事後分布の妥当性を確立する。これは、Bergerら（2001）が粗いカーネルに対して開始した証明を、滑らかなカーネルへと拡張するものであり、事後分布の妥当性を保証するための参考事前分布および統合尤度の解析的境界を提示する。これにより、参考事前分布が粗いおよび滑らかな相関構造の両方において有効なデフォルト選択肢であることが確認される。

ABSTRACT

In a seminal article, Berger, De Oliveira and Sans\\'o (2001) compare several objective prior distributions for the parameters of Gaussian Process regression models with isotropic correlation kernel. The reference prior distribution stands out among them insofar as it always leads to a proper posterior. They prove this result for rough correlation kernels - Spherical, Exponential with power $q<2$, Mat\\'ern with smoothness $\ u<1$. This paper provides a proof for smooth correlation kernels - Exponential with power $q=2$, Mat\\'ern with smoothness $\ u \\geqslant 1$, Rational Quadratic - along with tail rates of the reference prior for these kernels.

研究の動機と目的

• ガウス過程モデルにおける粗い相関カーネルから滑らかな等方的相関カーネルへの参考事前分布の事後分布の妥当性の証明を拡張すること。
• 既存の文献において、粗いカーネル（例：ρ<2、ν<1）でのみ事後分布の妥当性が確立されていたというギャップを埋めること。
• 滑らかなカーネルにおける参考事前分布密度および統合尤度の解析的境界を提供し、理論的妥当性を支援すること。
• 滑らかな相関関数に対しても、参考事前分布が依然として有効なデフォルト事前分布選択であることを確認し、適切なベイズ推論を保証すること。
• 空間的および非 stationarity な GP モデリングにおける目的的ベイズ推論の理論的基盤を一般化すること。

提案手法

• 大きなθにおける相関行列Σθの漸近的展開を導出し、滑らかなカーネル下での尤度および事前分布の挙動を分析する。
• 行列摂動理論およびスペクトル分解を用いて、Σθおよびその微分dΣθ/dθを含む二次形式の境界を求める。
• Lemma C.7およびLemma C.8を用いて、二次形式の下限および上限を制御し、正定値性および可積分性を保証する。
• rθ⁻¹Σθ − dΣθ/dθの関数に対する境界を確立し、微分と行列自体との比を制御する。これは事後分布の妥当性にとって極めて重要である。
• 特徴的なスペクトル表現および級数展開を用いて、Matérn、指数型、有理二次型カーネルに対してこれらの境界を適用する。
• 厳密な漸近的解析および関数不等式を用いて、周辺尤度および事前分布密度が有限積分をもたらすことを証明し、事後分布の妥当性を保証する。

実験結果

リサーチクエスチョン

• RQ1 参考事前分布は、ν≥1のMatérnカーネルやρ=2の指数型カーネルを含む滑らかな等方的相関カーネルに対しても、適切な事後分布をもたらすか？
• RQ2 粗いカーネルに用いられた解析的枠組みを、滑らかなカーネルの事後分布の妥当性を証明するために拡張可能か？
• RQ3 滑らかなカーネルにおける参考事前分布および統合尤度の尾部挙動と境界は何か？
• RQ4 滑らかなカーネルのスペクトル特性は、事後分布の可積分性にどのように影響するか？
• RQ5 滑らかな相関関数を有するガウス過程モデルにおいても、参考事前分布は依然として有効なデフォルト事前分布であるか？

主な発見

• 指数型（ρ=2）、Matérn（ν≥1）、有理二次型カーネルを含む滑らかな等方的相関カーネルに対し、参考事後分布が妥当であることが証明された。
• 本稿では、相関カーネルが滑らかであっても、参考事前分布が妥当な事後分布をもたらすことが示され、Bergerら（2001）の結果が粗いカーネルにとどまらず拡張された。
• 特に付録Bにおいて、特定のカーネルタイプに対して参考事前分布密度および統合尤度のより鋭い境界が導出された。
• 分析により、Matérnカーネルに対して行列rθ⁻¹Σθ − dΣθ/dθが対称正定値であることが確認され、(2ν + r)θ⁻¹に比例する境界が得られた。
• スペクトル分解および行列摂動技術による二次形式の漸近的制御に依拠することで、事後分布の可積分性が保証された。
• 結果として、滑らかな相関構造を有するGPモデルにおいて、参考事前分布が非情報的デフォルト事前分布としての使用が正当化され、整合的なベイズ推論が保証された。