[論文レビュー] Inference for Belief Networks Using Coupling From the Past

Mike Harvey, Radford M. Neal|arXiv (Cornell University)|Jan 16, 2013

Bayesian Modeling and Causal Inference参考文献 8被引用数 3

ひとこと要約

本稿では、段階的ノイズありORネットワークのためのコン pact な状態要約を用いた、コピュリング・フロム・ザ・パス（CFTP）を組み合わせたBelief Networkにおける新しい正確な推論手法を提案する。すべての過去の状態からのギブスサンプリングをシミュレートし、状態集合の要約表現を活用することで、真の事後分布からの正確なサンプリングを達成するが、標準的なギブスサンプリングよりも多くのシミュレーションステップを要する可能性がある。一方、ステップあたりの計算時間は標準的なギブスサンプリングの約2倍にとどまる。

ABSTRACT

Inference for belief networks using Gibbs sampling produces a distribution for unobserved variables that differs from the correct distribution by a (usually) unknown error, since convergence to the right distribution occurs only asymptotically. The method of "coupling from the past" samples from exactly the correct distribution by (conceptually) running dependent Gibbs sampling simulations from every possible starting state from a time far enough in the past that all runs reach the same state at time t=0. Explicitly considering every possible state is intractable for large networks, however. We propose a method for layered noisy-or networks that uses a compact, but often imprecise, summary of a set of states. This method samples from exactly the correct distribution, and requires only about twice the time per step as ordinary Gibbs sampling, but it may require more simulation steps than would be needed if chains were tracked exactly.

研究の動機と目的

• ギブスサンプリングにおける漸近的収束のための近似推論問題を解消すること。
• Belief Networkにおける真の事後分布からの正確なサンプリングを保証する手法の開発。
• すべての状態を明示的に列挙する代わりに、コン pact な要約表現を用いることで、CFTPを大規模なBelief Networkに適用可能にする。
• 標準的なギブスサンプリングのステップあたりの計算コストの約2倍に抑えることで、計算効率を維持すること。

提案手法

• 本手法は、Belief Networkにコピュリング・フロム・ザ・パス（CFTP）を適用し、概念的に過去の遠い時点におけるすべての可能な初期状態からギブスサンプリングを同時に実行し、すべての連鎖が時刻 t=0 で合流するまで進行させる。
• すべての状態を追跡することが不可能な大規模なネットワークでは、個々の状態を明示的に追跡する代わりに、状態集合のコン pact な要約を使用する。
• 要約は、段階的ノイズありORネットワークの構造を活用し、最小限のパラメータで複数の状態を効率的に表現することを目的として設計されている。
• アルゴリズムは、すべての連鎖が時刻 t=0 までに合流することを保証し、ターゲット分布からの正確なサンプルを生成する。
• CFTPフレームワーク内での標準的なギブス遷移核の使用により、詳細釣合せと可逆性を維持する。
• ノイズありOR構造の単調性に依存することで、全状態空間にわたる連鎖の合流を保証する。

実験結果

リサーチクエスチョン

• RQ1 すべての可能な状態を明示的に追跡せずに、大規模なBelief Networkにおける正確な推論をCFTPで実現できるか。
• RQ2 正確性を保ちつつ、Belief NetworkにおけるCFTPの計算コストをどのように低減できるか。
• RQ3 段階的ノイズありORネットワークにおけるCFTPで正しさを維持するために、どのような状態要約が十分か。
• RQ4 コン pact な状態要約の使用により、正確な連鎖追跡と比較して、シミュレーションステップ数が著しく増加するか。
• RQ5 標準的なギブスサンプリングと比較して、ステップあたりの計算時間がほぼ一定に保たれつつ、正確な推論を達成できるか。

主な発見

• すべての結合連鎖が時刻 t=0 に合流することを保証することで、本手法は正確な推論を達成し、真の事後分布からのサンプルを保証する。
• コン pact な状態要約の使用により、全状態の列挙が不可能な大規模なネットワークへのスケーリングが可能になる。
• ステップあたりの計算コストは、標準的なギブスサンプリングの約2倍であり、実用上は効率的である。
• ステップあたりの効率は高いが、状態要約の不正確さのため、正確な連鎖追跡と比較して、シミュレーションステップ数が増加する可能性がある。
• 本手法は段階的ノイズありORネットワークに適用可能であり、その構造的性質を活用して要約下でも正しさを維持できる。