[論文レビュー] Calibration of conditional composite likelihood for Bayesian inference on Gibbs random fields

Julien Stoehr, Nial Friel|arXiv (Cornell University)|Feb 6, 2015

Markov Chains and Monte Carlo Methods参考文献 15被引用数 8

ひとこと要約

本稿では、正規化定数が計算不能なため完全尤度が計算不能なギブス確率場におけるベイズ推論のための条件付き複合尤度から導かれる後方分布のキャリブレーション手法を提案する。複合尤度の平均、分散、曲率を調整することにより、後方分布の集中度を是正し、近似精度を向上させる。自動ロジスティックモデルおよびイジングモデルにおけるシミュレーションでは、RMSEとKL発散の低減が確認された。

ABSTRACT

Gibbs random fields play an important role in statistics, however, the resulting likelihood is typically unavailable due to an intractable normalizing constant. Composite likelihoods offer a principled means to construct useful approximations. This paper provides a mean to calibrate the posterior distribution resulting from using a composite likelihood and illustrate its performance in several examples.

研究の動機と目的

• ギブス確率場、特に自動ロジスティックモデルやイジングモデルのような空間モデルにおいて、完全尤度が計算不能であるという課題に対処すること。
• 通常は分散を過小評価し、平均をずらすため、条件付き複合尤度から得られる後方分布の過信と不正確さを是正すること。
• 真の後方分布の幾何構造に近づけるように、複合尤度の幾何構造を平均、スケール、曲率の補正によって調整するキャリブレーションフレームワークを構築すること。
• RMSEおよびKL発散という指標を用いて、キャリブレーション済み複合尤度の後方分布近似の質を評価すること。
• 今後、指数型ランダムグラフモデルのようなより複雑なモデルへの複合尤度手法の応用可能性を拡張すること。

提案手法

• ノードの周囲の近隣ノードを条件とする局所的条件付き分布に基づく条件付き複合尤度（CL）を用い、ノードの部分集合の積として関連する尤度を近似する。
• 尤度の不適合を是正するためのキャリブレーションスキームを導入し、対数尤度の平均、スケール（大きさ）、曲率（ヘッセ行列）を調整することで複合尤度を変更する。
• パrameter空間の変換を介して、精度行列を再重み付けする行列 $ W $ を用いて、近似後方分布と真の後方分布の幾何構造を一致させる。
• 後方分布の曲率の乖離を測定するため、$ \| \mathbf{K}_{\text{CL}}(\theta) \mathbf{K}^{-1}(\theta) \|_{\text{F}} / \sqrt{2} $ のフロベニウスノルムを用いてキャリブレーションを検証する。
• 100回のシミュレーションにおける近似後方分布と真の後方分布との間の相対的平均二乗誤差（RMSE）および平均Kullback-Leibler（KL）発散を用いて、後方分布近似の質を評価する。
• 本手法は、異方的1次イジングモデルおよびさまざまなパrameter設定を持つ1次自動ロジスティックモデルに適用された。

実験結果

リサーチクエスチョン

• RQ1 条件付き複合尤度は、ギブス確率場における後方分布の幾何構造にどのように影響を与えるか？
• RQ2 真の後方分布と比較して、複合尤度の後方分布は、精度を過大評価し、分散を過小評価する程度はどの程度か？
• RQ3 平均、スケール、曲率の補正に基づくキャリブレーション手順は、複合尤度に基づく後方分布の不適合を効果的に是正できるか？
• RQ4 例えば、平均＋スケール vs. 平均＋曲率といった異なるキャリブレーション戦略は、RMSEおよびKL発散の低減においてどのように比較されるか？
• RQ5 キャリブレーション済み複合尤度アプローチは、指数型ランダムグラフモデルのようなより複雑な依存構造を有するモデルへも拡張可能か？

主な発見

• $ w=1 $ におけるキャリブレーションなしの条件付き複合尤度後方分布は、相対的平均二乗誤差（RMSE）が1.28、平均KL発散が2.25であった。これは、後方分布の顕著な不適合を示している。
• 平均およびスケール補正（$ w = w^{(5)} $）を適用した結果、RMSEは0.525に、平均KL発散は0.079に低下し、後方分布近似の著しい改善が確認された。
• 1次自動ロジスティックモデルでは、キャリブレーションなしのCL後方分布のRMSEは3.44、AKLDは2.38であり、後方分布幾何構造の著しい歪みを示していた。
• 曲率補正済み後方分布では、RMSEは0.96に、AKLDは1.89に低下し、相関構造が不適合である場合にヘッセ行列の是正が正確な後方分布近似に不可欠であることが示された。
• 図3(c)のボックスプロットは、特に高次元設定において、キャリブレーション済み後方分布が真の後方分布のばらつきをよりよく捉えていることを確認した。
• 本研究では、特に変数間の依存が重要なモデルにおいて、曲率補正がスケール補正よりも相関構造の是正に効果的であることが示された。