[論文レビュー] Marginal likelihood computation for model selection and hypothesis testing: an extensive review

Fernando Llorente, Luca Martino+2 more|arXiv (Cornell University)|May 17, 2020

Bayesian Methods and Mixture Models参考文献 95被引用数 6

ひとこと要約

この論文は、ベイズ的モデル選択および仮説検定における周辺尤度の推定のための計算手法について、包括的かつ最新のレビューを提供している。重要度サンプリング（IS）、ブリッジサンプリング、パスサンプリング、ネストドサンプリング、レイヤードアダプティブ重要度サンプリング（LAIS）といった手法を体系的に比較し、それらの強み、限界、および関係性を強調しており、安定性、不偏推定、MCMC出力からの実装の実用性に焦点を当てている。

ABSTRACT

This is an up-to-date introduction to, and overview of, marginal likelihood computation for model selection and hypothesis testing. Computing normalizing constants of probability models (or ratio of constants) is a fundamental issue in many applications in statistics, applied mathematics, signal processing and machine learning. This article provides a comprehensive study of the state-of-the-art of the topic. We highlight limitations, benefits, connections and differences among the different techniques. Problems and possible solutions with the use of improper priors are also described. Some of the most relevant methodologies are compared through theoretical comparisons and numerical experiments.

研究の動機と目的

• モデル選択および仮説検定における周辺尤度（ベイズ的証拠）を計算するための最新で統合的な概要を提供すること。
• 重要度サンプリング、MCMC、温度調整に基づく手法を含む、さまざまな計算手法の関係性、相違点、相対的性能を明確にすること。
• 不適切な事前分布の使用が周辺尤度推定に与える影響を含む、重要な問題に取り組むこと。
• 理論的分析と数値実験を通じて手法を評価・比較し、安定性、効率性、不偏性に重点を置くこと。
• 特にMCMC出力の後処理において、周辺尤度推定子の選択と実装に関する実用的ガイダンスを提供すること。

提案手法

• 周辺尤度推定手法を4つの主要なファミリーに分類する：決定的近似、重要度サンプリング（IS）、IS内にMCMCを組み込んだ手法、温度調整された事後分布に基づく手法。
• ラプラス近似、BIC、カーネル密度推定（KDE）、チブの手法、ブリッジサンプリングを含む、多様な手法を共通の表記法で統一的にレビューする。
• MCMCとISを組み合わせ、事後分布のサンプルを用いて適応的提案分布を構築する、レイヤードアダプティブ重要度サンプリング（LAIS）のような高度なハイブリッド手法を分析する。
• パスサンプリング（PS）、ステッピング・ストーン・サンプリング（SS）、アンナールド重要度サンプリング（An-IS）を、温度調整された事後分布の系列を用いて周辺尤度を推定する手法として評価する。
• 逐次モンテカルロ（SMC）およびネストドサンプリングの使用を議論し、尤度の暗黙的最適化と、切断された事前分布からのサンプリングの課題に注目する。
• SS、An-IS、SMC、LAISといった手法が、周辺尤度またはその対数の不偏推定量を提供することを強調し、信頼性の高い推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 周辺尤度推定のためのどの計算手法が、精度、安定性、計算効率のバランスにおいて最良の性能を発揮するか？
• RQ2 ブリッジサンプリング、RIS、LAISなどの重要度サンプリングに基づく手法は、提案分布の選択に対して、分散と安定性の観点でどのように比較されるか？
• RQ3 不適切な事前分布を周辺尤度計算に使用する場合の理論的および実用的影響は何か？ これらの問題はどのように緩和できるか？
• RQ4 温度調整された事後分布に基づく手法（例：SS、PS、An-IS）は、温度パス設計に対する感受性や性能の観点で、どのように比較されるか？
• RQ5 どのような状況でネストドサンプリングまたはIS内にMCMCを組み込んだ手法がより適切であり、それらは直接的なISやKDEに基づく手法とどのように比較されるか？

主な発見

• ステッピング・ストーン（SS）手法は、パスサンプリング（PS）やパワー事後分布（PP）よりも温度パスの選択に対してより安定しており、複数の温度調整事後分布を必要としない。
• レイヤードアダプティブ重要度サンプリング（LAIS）は、HMと同様の事後分布の局所化の利点と、標準的ISの利点を組み合わせ、ナーブなISやHM推定量よりも安定性と効率性に優れている。
• ブリッジサンプリングとRISは、MCMC出力に加えて追加のサンプルを必要とするが、不安定さが著しく顕著なHM推定量よりもより安定した推定を提供する。
• SS、An-IS、SMC、LAISといった手法は、周辺尤度またはその対数の不偏推定量を提供するため、顕著な理論的利点を持つ。
• チブの手法とMTM（複数の提案を持つメトロポリス・ハスティングス）はMCMC出力に適用可能だが、注意深い実装が求められ、提案分布が独立でない場合には安定性に欠ける可能性がある。
• HM推定量は極めて不安定であり、NMC（ナーブ・モンテカルロ）は事前分布に基づくサンプリングによる非効率性に起因して非効率である。一方、LAISとSSは、両者の効率性と安定性の両方で優れた性能を発揮する中間的解決策を提供する。