[論文レビュー] Probabilistic Path Hamiltonian Monte Carlo

Vu Dinh, Arman Bilge+2 more|arXiv (Cornell University)|Feb 25, 2017

Topological and Geometric Data Analysis被引用数 12

ひとこと要約

本稿では、系統樹空間などの複雑で組み合わせ的構造を持つ空間からのサンプリングのためのHMCの新規拡張である確率的パスハミルトニアンモンテカルロ（PPHMC）を提案する。ユークリッド直交座標系におけるルンゲ・クッタ積分と境界における確率的トポロジー遷移、および補間スムージング関数を組み合わせることで、不連続な事後分布の効率的探索が可能となり、高い受容率を達成する。実験では、シミュレートデータおよび実際の系統樹データの両方で優れた性能を示した。

ABSTRACT

Hamiltonian Monte Carlo (HMC) is an efficient and effective means of sampling posterior distributions on Euclidean space, which has been extended to manifolds with boundary. However, some applications require an extension to more general spaces. For example, phylogenetic (evolutionary) trees are defined in terms of both a discrete graph and associated continuous parameters; although one can represent these aspects using a single connected space, this rather complex space is not suitable for existing HMC algorithms. In this paper, we develop Probabilistic Path HMC (PPHMC) as a first step to sampling distributions on spaces with intricate combinatorial structure. We define PPHMC on orthant complexes, show that the resulting Markov chain is ergodic, and provide a promising implementation for the case of phylogenetic trees in open-source software. We also show that a surrogate function to ease the transition across a boundary on which the log-posterior has discontinuous derivatives can greatly improve efficiency.

研究の動機と目的

• 系統樹空間など、多様体ではなく、グローバルに微分可能でない複雑な組み合わせ的構造を持つ空間へのハミルトニアン・モンテカルロ（HMC）の拡張を目的とする。
• トポロジー境界をまたいで微分が不連続となる事後分布からのサンプリングの課題に対処することを目的とする。
• 木空間を接合されたユークリッド成分としてモデル化する直交座標系複体上での、理論的裏付けがあり、エルゴード性を保証するマーコフ連鎖の構築を目的とする。
• 非滑らかである勾配を持つ事後分布に対する補間スムージング関数を導入することで、高次元で「鋭い」事後分布におけるサンプリング効率を向上させることを目的とする。

提案手法

• PPHMCは、木空間の各直交座標系（ユークリッド成分）内では標準的なルンゲ・クッタ積分ステップを実行し、固定された木トポロジーに対応する。
• 直交座標系の境界（異なる木トポロジー間の遷移を表す）では、隣接するトポロジーのうちから一様にランダムに選択することで、確率的可逆性を維持する。
• 本手法は、HMCの主要な性質を保持する：確率的時間反転可逆性、体積保存性、および到達可能性。これらが組み合わさって、得られるマークフ連鎖のエルゴード性を保証する。
• 不連続な微分を持つ事後分布の周辺で、補間スムージング関数を導入し、ポテンシャルエネルギー関数を滑らかにすることで、より長いルンゲ・クッタ軌道と高い受容率を実現する。
• 補間関数は、微分不可能な真の事後分布に近い領域でポテンシャルエネルギー関数を滑らかにし、真の事後分布が微分不可能であっても安定かつ効率的なハミルトニアン力学を可能にする。
• アルゴリズムはオープンソースソフトウェアとして実装され、ステップサイズとスムージング閾値のグリッドサーチによりチューニングされ、受容率とパス長を最適化する。

実験結果

リサーチクエスチョン

• RQ1 HMCは、多様体ではなく、組み合わせ的に複雑な構造を持つ空間（例えば、系統樹空間）へと拡張可能か？
• RQ2 異なるトポロジー成分の境界でランダム選択を行うHMCに類似したアルゴリズムについて、エルゴード性はどのように確立可能か？
• RQ3 補間スムージング関数は、事後分布の微分が不連続である場合に、HMCのサンプリング効率を顕著に向上させられるか？
• RQ4 補間関数は、高次元で「鋭い」事後分布において、より長いルンゲ・クッタ軌道と高い受容率を実現するのにどの程度寄与するか？

主な発見

• シミュレートデータでは、PPHMCの平均受容率は約0.68であり、ネール（2011）が提唱する0.65の目標値に近い。
• DS4実験データセットでは、補間スムージングを施したPPHMCは、正確なPPHMCと比較して、ステップサイズをほぼ10倍にまで拡大可能でありながらも高い受容率を維持した。
• ステップサイズε=0.0008で、補間スムージングを施したPPHMCは、正確なPPHMCと比較して、はるかに長い軌道と多数のトポロジー遷移（NNI移動）を達成したことが、ヘキサゴナルビン図で示された。
• 最適なスムージング閾値はδ ≈ 2εと特定され、DS4データセットにおいて、パラメータ設定全体で平均受容率を最大にした。
• 補間関数のおかげで、標準HMCがトポロジー境界で微分が不連続であるために失敗する「鋭い」事後分布に対しても、安定かつ効率的なサンプリングが可能となった。
• PPHMCの実装は、シミュレートデータおよび実世界の系統樹データの両方で、MrBayesによる真の事後分布と整合的な結果を示し、効果的な事後分布サンプリングを実現した。