[論文レビュー] Warp Bridge Sampling: The Next Generation

Lazhi Wang, David Jones+1 more|arXiv (Cornell University)|Sep 25, 2016

Statistical Methods and Inference参考文献 45被引用数 9

ひとこと要約

本稿では、正規混合近似と可逆変換を用いることで、正規化定数を保持したまま、f-発散の重なりを保証的に向上させる、多モーダルな標本分布を単一モーダルに変換する新しい確率的手法であるWarp-U変換を提案する。この手法により、複雑な多モーダルな事後分布におけるマルコフ連鎖モンテカルロ推定の精度が顕著に向上する。

ABSTRACT

Bridge sampling is an effective Monte Carlo method for estimating the ratio of normalizing constants of two probability densities, a routine computational problem in statistics, physics, chemistry, and other fields. The Monte Carlo error of the bridge sampling estimator is determined by the amount of overlap between the two densities. In the case of uni-modal densities, Warp-I, II, and III transformations (Meng and Schilling, 2002) are effective for increasing the initial overlap, but they are less so for multi-modal densities. This paper introduces Warp-U transformations that aim to transform multi-modal densities into Uni-modal ones without altering their normalizing constants. The construction of a Warp-U transformation starts with a Normal (or other convenient) mixture distribution $ϕ_{ ext{mix}}$ that has reasonable overlap with the target density $p$, whose normalizing constant is unknown. The stochastic transformation that maps $ϕ_{ ext{mix}}$ back to its generating distribution $N(0,1)$ is then applied to $p$ yielding its Warp-U version, which we denote $ ilde{p}$. Typically, $ ilde{p}$ is uni-modal and has substantially increased overlap with $N(0,1)$. Furthermore, we prove that the overlap between $ ilde{p}$ and $N(0,1)$ is guaranteed to be no less than the overlap between $p$ and $ϕ_{ ext{mix}}$, in terms of any $f$-divergence. We propose a computationally efficient method to find an appropriate $ϕ_{ ext{mix}}$, and a simple but effective approach to remove the bias which results from estimating the normalizing constants and fitting $ϕ_{ ext{mix}}$ with the same data. We illustrate our findings using 10 and 50 dimensional highly irregular multi-modal densities, and demonstrate how Warp-U sampling can be used to improve the final estimation step of the Generalized Wang-Landau algorithm (Liang, 2005), a powerful sampling and estimation method.

研究の動機と目的

• 多モーダルな事後分布において、従来のブリッジサンプリングが密度の重なりが低いために性能が劣る問題に対処すること。
• 正規化定数を変更せずに、標本分布と提案分布の間の重なりを向上させる変換手法を開発すること。
• f-発散指標を用いて、重なりの向上に関する理論的保証を確保すること。
• ベイズ推論において一般的に見られる高次元で不規則な形状の事後分布において、効率的な正規化定数推定を可能にすること。
• 一般化ウォン＝ランダウアルゴリズムなどの既存手法とWarp-Uを統合し、サンプリング効率を向上させること。

提案手法

• 多モーダルな標本密度 p を、正規混合分布 φ_mix を基準として用いることで、単一モーダルな変換密度 p̃ に確率的に写像するWarp-U変換を提案する。
• 標準正規分布から正規混合分布 φ_mix への確率的写像を逆算し、それを p に適用することで p̃ を得る変換を構築する。
• p̃ と標準正規分布間の f-発散が、p と φ_mix 間の f-発散以上であることを証明し、重なりの向上を保証する。
• MCMCサンプルを用いて、計算コストを最小限に抑えるために、正規混合分布 φ_mix を標本 p に適合させる計算効率の良い手順を採用する。
• 同じデータから φ_mix と正規化定数を推定することに起因するバイアスを補正する技術を適用し、推定器の精度を向上させる。
• 一般化ウォン＝ランダウアルゴリズムとWarp-Uを統合し、多モーダルなサンプリングにおける最終推定ステップの性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 多モーダルな密度を単一モーダルに変換する確率的変換を設計可能か。その際、正規化定数を保持できるか。
• RQ2 提案されたWarp-U変換により、変換された密度と標準正規分布との間の重なりが、f-発散で測定された場合に保証的に向上するか。
• RQ3 MCMCサンプルを用いて、高い計算コストを伴わず、多モーダルな標本 p に正規混合分布 φ_mix を効率的に適合できるか。
• RQ4 Warp-Uを用いることで、高次元で不規則な形状の事後分布におけるブリッジサンプリング推定量のモンテカルロ誤差にどのような影響を与えるか。
• RQ5 Warp-Uは、一般化ウォン＝ランダウ法などの既存のサンプリングアルゴリズムと効果的に統合可能か。全体の推定効率が向上するか。

主な発見

• Warp-U変換により、変換された密度 p̃ と標準正規分布間の f-発散が、元の p と混合分布 φ_mix 間の f-発散以上であることが保証され、重なりの理論的向上が得られる。
• 変換された標本分布と提案分布間の重なりが顕著に向上し、多モーダルな事後分布におけるブリッジサンプリングのモンテカルロ誤差が低減する。
• 10次元および50次元の多モーダル密度に対する実験結果から、標準ブリッジサンプリングに比べて推定精度と効率に顕著な向上が確認された。
• 同じデータから φ_mix と正規化定数を推定することに起因するバイアスが、提案された補正手順により効果的に軽減された。
• Warp-Uサンプリングは、一般化ウォン＝ランダウアルゴリズムの最終推定ステップを強化し、複雑なサンプリング状況において実用的有用性を示した。
• 本手法は高次元性や不規則な密度形状に対してもロバストであり、効率的な混合分布適合と変換設計により、計算コストを管理可能な範囲に保ったままである。