[論文レビュー] Approximating the marginal likelihood using copula

David J. Nott, Robert Kohn+1 more|ArXiv.org|Oct 30, 2008

Bayesian Methods and Mixture Models参考文献 29被引用数 5

ひとこと要約

本稿では、ベイズモデル選択における周辺尤度推定のための、ラプラス近似の新規なコプシラベースの拡張を提案する。この手法は、追加のMCMCサンプリングを必要とせず、標準的なラプラス法よりも精度を向上させる。コプシラモデル（特にガウス型およびtコプシラ）を用いて、事後分布サンプル内の多次元的依存構造をよりよく捉える。完全なベイズ的手法（例：チブのアルゴリズム）と比較して、著しく低い計算コストで競争力のある性能を達成する。

ABSTRACT

Model selection is an important activity in modern data analysis and the conventional Bayesian approach to this problem involves calculation of marginal likelihoods for different models, together with diagnostics which examine specific aspects of model fit. Calculating the marginal likelihood is a difficult computational problem. Our article proposes some extensions of the Laplace approximation for this task that are related to copula models and which are easy to apply. Variations which can be used both with and without simulation from the posterior distribution are considered, as well as use of the approximations with bridge sampling and in random effects models with a large number of latent variables. The use of a t-copula to obtain higher accuracy when multivariate dependence is not well captured by a Gaussian copula is also discussed.

研究の動機と目的

• ベイズモデル選択における周辺尤度推定の計算的課題に対処すること。これはベイズ因子や事後モデル確率を計算するために不可欠である。
• 事後分布サンプル内の多次元的依存構造をコプシラモデルを用いてモデル化することで、ラプラス近似の精度を向上させること。
• 潜在変数を含むモデル（例：ランダム効果モデル）に対しても適用可能であり、計算的にも効率的な手法を開発すること。
• ブリッジサンプリングやチブ法のような計算集約的であるがゆえに、特に高次元設定において実用的でない代替手法と比較し、実用的な代替手段を提供すること。
• 正規性が不適切に近似される場合に、より頑健な代替手段としてtコプシラを用いることの有効性を検討すること。

提案手法

• この手法は、ラプラス近似を拡張し、特にガウス型およびtコプシラを用いて、事後分布サンプルの依存構造をモデル化することで、結合事後密度をよりよく近似する。
• 恒等式 $ p(\mathbf{y}) = \frac{p(\boldsymbol{\theta})p(\mathbf{y}|\boldsymbol{\theta})}{p(\boldsymbol{\theta}|\mathbf{y})} $ を用い、周辺尤度はモードまたは中央値における分子の評価と、コプシラ適合による事後密度推定によって推定される。
• MCMC出力にガウスコプシラを適合させ、ラプラス＝メトロポリス法で用いられる正規近似に代えて、結合事後密度 $ p(\boldsymbol{\theta}|\mathbf{y}) $ を推定する。
• 潜在変数の条件付き事後分布からのシミュレーションを組み合わせることで、潜在変数を含むモデルにこの手法を適用し、パrameter空間密度のコプシラベース推定を実現する。
• チブ法や正規近似と比較した結果、コプシラベース推定は追加計算が最小限で、より高い精度を達成した。
• 事後分布に尾部依存性や非正規性が存在する場合、ガウスコプシラの代替手段としてtコプシラの有効性を検討した。

実験結果

リサーチクエスチョン

• RQ1 コプシラモデルは、ベイズモデル選択における周辺尤度推定のラプラス型近似の精度を向上させることができるか？
• RQ2 コプシラベース近似は、標準ラプラス法や正規近似と比較して、精度と計算コストの両面でどのように性能を示すか？
• RQ3 コプシラベース手法は、潜在変数を含むモデルや高次元パrameter空間に効果的に適用可能か？
• RQ4 事後依存構造が非楕円的である場合、tコプシラはガウスコプシラよりも優れた性能を示すか？
• RQ5 コプシラ近似は、計算負荷の高い手法（例：チブのアルゴリズム）と組み合わせて、計算負担を軽減するために有効に利用できる状況はどのようなものか？

主な発見

• コプシラ近似手法は、正規近似やラプラス＝メトロポリス推定器よりも高い精度を示し、特に事後分布における複雑な依存構造を捉える能力に優れた。
• コプシラベース手法は、単一のMCMCランに加えて、ほとんど追加計算を要せず、一方でチブ法は各条件付き密度推定に追加の複数回のMCMCランが必要であった。
• チブとジェリアズコフの手法との比較において、コプシラ近似は50回の再試行で平均差が0.1未満の非常に近い周辺尤度の対数推定値を生成した。
• tコプシラはガウスコプシラよりわずかに性能が劣ったが、これは依存構造が概ね楕円的である場合にはガウスコプシラで十分であることを示唆している。
• 同手法は、等分散性と非等分散性の両方のモデルで強く性能を示し、モデル構造の変化に対して頑健であることを示した。
• 著者らは、特に高次元モデルにおける計算負担を軽減する目的で、パrameterブロックを小分けにすることで、コプシラ近似とチブ法を組み合わせて使用できると提言している。