[論文レビュー] A Corrected and More Efficient Suite of MCMC Samplers for the Multinomal Probit Model

Xiyun Jiao, David A. van Dyk|arXiv (Cornell University)|Apr 29, 2015

Markov Chains and Monte Carlo Methods参考文献 5被引用数 4

ひとこと要約

この論文は、多項プロビットモデルの広く使われているMCMCサンプラーにおける深刻な誤りを是正する。具体的には、Imaiとvan Dyk（2005a）およびBurgetteとNordheim（2012）のアルゴリズムに、定常分布を歪め、事後推定を損なう誤りが含まれている。著者らは、適切な再パラメータライゼーションと制約の強制を用いて是正されたサンプラーを提案し、シミュレーションおよび実データを用いた検証で、計算コストのわずかな増加にもかかわらず、正確な事後推定と改善された混合効率を達成していることを示している。

ABSTRACT

The multinomial probit (MNP) model is a useful tool for describing discrete-choice data and there are a variety of methods for fitting the model. Among them, the algorithms provided by Imai and van Dyk (2005a), based on Marginal Data Augmentation, are widely used, because they are efficient in terms of convergence and allow the possibly improper prior distribution to be specified directly on identifiable parameters. Burgette and Nordheim (2012) modify a model and algorithm of Imai and van Dyk (2005a) to avoid an arbitrary choice that is often made to establish identifiability. There is an error in the algorithms of Imai and van Dyk (2005a), however, which affects both their algorithms and that of Burgette and Nordheim (2012). This error can alter the stationary distribution and the resulting fitted parameters as well as the efficiency of these algorithms. We propose a correction and use both a simulation study and a real-data analysis to illustrate the difference between the original and corrected algorithms, both in terms of their estimated posterior distributions and their convergence properties. In some cases, the effect on the stationary distribution can be substantial.

研究の動機と目的

• Imaiとvan Dyk（2005a）のMCMCアルゴリズムにおける2つの深刻な誤りを特定・是正し、定常分布および事後推定に与える影響を解消すること。
• Imaiとvan Dyk（2005a）のアルゴリズムを基盤とするBurgetteとNordheim（2012）の修正アルゴリズムに対しても同様の誤りを是正すること。
• これらの誤りが事後推定、収束性、有効サンプルサイズ（ESS）に与える実用的影響を実証すること。
• 元のアルゴリズムの効率を保ちつつ、正しい事後分布からのサンプリングを保証する是正済みMCMCサンプラーを提案すること。
• 誤った推定が広く使われるのを防ぐために、人気のあるRパッケージ「MNP」を是正済みアルゴリズムに更新すること。

提案手法

• パラメータの変換を正しく行う再パラメータライゼーションを用いて、分散・共分散行列のサンプリングステップを再表現し、誤った変換を回避する。
• ギブスサンプリング中に分散・共分散行列が正定値であることを強制することで、元のアルゴリズムの見過ごされた欠陥を是正する。
• 是正済みサンプラーが正しい事後分布を標本抽出することを保証するため、棄却サンプリング手順を導入する。
• 計算効率を維持しつつ、有効な事後分布シミュレーションを保証するため、周辺データ拡張（MDA）フレームワークを用いる。
• 有効サンプルサイズ（ESS）/秒とQ-Qプロットを用いて、是正済みおよび元のアルゴリズムを比較し、混合効率と正確性を評価する。
• シミュレーションスタディとマーガリン購入データセット（507件）を用いた実データ分析を通じて、是正済みアルゴリズムの有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 Imaiとvan Dyk（2005a）のMCMCサンプラーにおける誤りが、多項プロビットモデルの定常分布および事後推定にどのように影響を与えるか？
• RQ2 Imaiとvan Dyk（2005a）のアルゴリズムに依存するBurgetteとNordheim（2012）のアルゴリズムにおける誤りは、事後推定の妥当性をどの程度損なうか？
• RQ3 是正済みアルゴリズムは、元のバージョンと比較して収束性および有効サンプルサイズ（ESS）をどのように改善するか？
• RQ4 是正の計算コストはどの程度で、改善された混合効率は追加の計算を補って十分か？
• RQ5 実世界のデータにおいて、是正済みサンプラーは元の誤ったアルゴリズムと比べてどの程度の性能を示すか？

主な発見

• Imaiとvan Dyk（2005a）およびBurgetteとNordheim（2012）のアルゴリズムにおける誤りは、定常分布を顕著に歪め、バイアスがかかる事後推定および誤った標準誤差を引き起こす。
• アルゴリズム1.1（元のバージョン）は、Q-Qプロットによる確認から、標的事後分布からのサンプリングを正しく行わない。一方、是正済みのアルゴリズム1.3は自己相関と収束性の点で著しく優れている。
• はたして、計算時間は15％増加したものの、是正済みのアルゴリズム1.3は元のアルゴリズム1.1よりも1秒あたりの有効サンプルサイズ（ESS）が高いため、混合効率が向上していることが示された。
• 是正済みのアルゴリズム2.2および3.2は、元のバージョン（2.1および3.1）と同等の性能を示すが、唯一是正済みバージョンが有効な事後サンプルを生成している。
• 507件のマーガリン購入データを用いた実データ分析から、元のアルゴリズムは誤った事後分布を生成する一方、是正済みバージョンは信頼性が高く、良好に混合するチェインを生成することが確認された。
• 著者らは、是正済みアルゴリズムが計算時間のわずかな増加（約15％）で済み、一方ではるかに正確で効率的な推定が得られることを確認した。