[論文レビュー] Note on the computation of the Metropolis-Hastings ratio for Birth-or-Death moves in trans-dimensional MCMC algorithms for signal decomposition problems

Alireza Roodaki, Julien Bect+1 more|arXiv (Cornell University)|Nov 27, 2011

Markov Chains and Monte Carlo Methods参考文献 45被引用数 3

ひとこと要約

この論文は、信号分解に用いられる次元が変化するMCMCアルゴリズムにおけるBirth-or-Death移動のメトロポリス・ハスティングス・グリーン（MHG）比に長年の誤りを是正する。混合提案核の分析を通じて、正しいMHG比の数学的に厳密な導出を提供し、アンドリューとドゥーシェの（1999年）古典的論文に適用することで、誤った実装が事後モデル分布を歪め、特に誤った受容確率のため、成分数が少ない方に偏っていることが示された。

ABSTRACT

Reversible jump MCMC (RJ-MCMC) sampling techniques, which allow to jointly tackle model selection and parameter estimation problems in a coherent Bayesian framework, have become increasingly popular in the signal processing literature since the seminal paper of Andrieu and Doucet (IEEE Trans. Signal Process., 47(10), 1999). Crucial to the implementation of any RJ-MCMC sampler is the computation of the so-called Metropolis-Hastings-Green (MHG) ratio, which determines the acceptance probability for the proposed moves. It turns out that the expression of the MHG ratio that was given in the paper of Andrieu and Doucet for "Birth-or-Death" moves---the simplest kind of trans-dimensional move, used in virtually all applications of RJ-MCMC to signal decomposition problems---was erroneous. Unfortunately, this mistake has been reproduced in many subsequent papers dealing with RJ-MCMC sampling in the signal processing literature. This note discusses the computation of the MHG ratio, with a focus on the case where the proposal kernel can be decomposed as a mixture of simpler kernels, for which the MHG ratio is easy to compute. We provide sufficient conditions under which the MHG ratio of the mixture can be deduced from the MHG ratios of the elementary kernels of which it is composed. As an application, we consider the case of Birth-or-Death moves, and provide a corrected expression for the erroneous ratio in the paper of Andrieu and Doucet.

研究の動機と目的

• 信号分解に用いられる次元が変化するMCMCアルゴリズムにおけるBirth-or-Death移動のMHG比に根ざした長年の誤りを特定・是正すること。
• 提案核が単純な核の混合である場合に、MHG比を計算する一般化された枠組みを提供すること。
• アンドリューとドゥーシェ（1999年）の定式化における誤りが、事後モデル選択を歪め、成分数が少ない方に偏ることを示すこと。
• 未知の正弦成分数を伴う信号分解問題に適用可能な、修正済みで数学的に整合性のあるMHG比の式を提供すること。
• 後続の信号処理論文で、誤った定式化に依存する誤りの継続的拡散を防ぐこと。

提案手法

• 混合提案核のMHG比を導出するため、その混合比が基本的成分の比から導ける十分条件を確立する。
• 信号分解におけるBirth-or-Death移動に一般枠組みを適用し、提案核が正弦成分の挿入または削除に対応する単純な核の混合であることを考慮する。
• 順序なしベクトル、順序付きベクトル、点過程の3つの表現を検討し、交換可能性のもとでMHG比の計算が等価であることを示す。
• 根本的誤りの特定：元の定式化では、出生移動では新しい成分を常に最後に挿入するが、死滅移動では任意の成分をランダムに選択するため、一貫性が保たれず、非最後の成分の受容確率がゼロになる。
• 正しいヤコビアンと提案密度比を考慮した修正済みMHG比（式5）を導出し、詳細バランスを保証し、正しい事後分布を的確に標本抽出可能にする。
• シミュレーションによる検証を通じて、ポisson分布および加速ポアソン事前分布を用いたモデル次元の事後分布頻度を、正しい比と誤った比で比較する。

実験結果

リサーチクエスチョン

• RQ1 アンドリューとドゥーシェ（1999年）の論文におけるBirth-or-Death移動のMHG比に、なぜ根本的な誤りが存在するのか？
• RQ2 混合提案核のMHG比が、その構成成分の比から計算可能となる条件は何か？
• RQ3 誤ったMHG比は、信号分解問題における事後モデル選択にどのように影響を与えるか？
• RQ4 順序なしまたは順序付き正弦成分表現を用いる場合、Birth-or-Death移動における正しいMHG比の式は何か？
• RQ5 誤った受容確率が、なぜモデル次元の事後分布において、成分数が少ない方に系統的シフトを引き起こすのか？

主な発見

• アンドリューとドゥーシェ（1999年）の論文におけるMHG比は誤りであり、出生移動では新しい成分が常に最後に挿入されると仮定しているが、死滅移動では任意の成分が選択可能であるため、詳細バランスが破れている。
• 修正済みMHG比（式5）は、正しいヤコビアンと提案密度比を考慮しており、マルコフ連鎖が正しい事後分布を的確に標本抽出することを保証する。
• シミュレーション結果から、誤った比を用いることで、モデル次元$k$の事後分布が顕著に左にシフトし、特に非一様事前分布（例：加速ポアソン）では、成分数が少ない方に偏ることが明らかになった。
• この誤りは、14篇以上の後続の信号処理論文に再現されており、すべてが正当なベイズ推論を保証するための是正を要する。
• 修正比により、最後の成分以外の成分を削除しようとする死滅移動は、受容確率がゼロになることが保証され、出生移動のメカニズムと一貫性が保たれる。
• 本研究は、MCMCの受容確率にわずかな誤りがあっても、一見妥当に見えるが誤った事後推論を引き起こす可能性があることを強調しており、測度論的基礎の厳密さの重要性を浮き彫りにしている。