[論文レビュー] The Computational Power of Dynamic Bayesian Networks

Joshua Brulé|arXiv (Cornell University)|Mar 19, 2016

Bayesian Modeling and Causal Inference被引用数 2

ひとこと要約

本稿では、連続確率変数と離散的子ノードを備えた動的ベイジアンネットワーク（DBN）が、離散的DBNの部分チューリング的制限を克服し、チューリング完全な計算を達成できることを示している。ディラックおよびヘヴィサイド分布を用いて2スタックプッシュダウンオートマトンにおけるスタック操作をシミュレートすることで、修正された信念伝播アルゴリズムを用いて定数時間のオーバーヘッドでチューリングマシンのリアルタイムシミュレーションが可能となる。

ABSTRACT

This paper considers the computational power of constant size, dynamic Bayesian networks. Although discrete dynamic Bayesian networks are no more powerful than hidden Markov models, dynamic Bayesian networks with continuous random variables and discrete children of continuous parents are capable of performing Turing-complete computation. With modified versions of existing algorithms for belief propagation, such a simulation can be carried out in real time. This result suggests that dynamic Bayesian networks may be more powerful than previously considered. Relationships to causal models and recurrent neural networks are also discussed.

研究の動機と目的

• 定数サイズの動的ベイジアンネットワークの計算能力を調査すること。
• 既知の部分チューリング的制限を有する離散的DBNがチューリング完全性に達成可能かどうかを特定すること。
• 連続確率変数に離散的子ノードを有するモデルが、確率的グラフィカルモデルにおけるユニバーサル計算を可能にするかを検討すること。
• 修正された信念伝播アルゴリズムを用いて、このようなハイブリッドモデルにおける正確な推論を実現する手法を開発すること。
• DBNの表現力と再帰ニューラルネットワークおよび因果モデルの表現力とを比較すること。

提案手法

• 2スタックプッシュダウンオートマトンをシミュレートする2スライス時系列ベイジアンネットワーク（2TBN）を構築し、これはチューリングマシンと同等である。
• ディラック分布を用いた連続確率変数を用いて、スタック内容を実数として符号化し、バイナリ文字列に対して一意の符号化を行う。
• ヘヴィサイドステップ関数を条件付き確率密度関数として用い、スタックのトップ値を抽出し、空かどうかをチェックする。
• 線形変換（例：q/4 + 1/4）を定義し、決定的条件付き分布を用いてスタックのプッシュおよびポップ操作をシミュレートする。
• 混合連続・離散モデルにおける推論のためのレーナーのアルゴリズムを適応し、事後分布の一次および二次モーメントの正確な計算を可能にする。
• 数値的安定性を確保するため、親ノードにディラック分布を制限し、条件付き分布にヘヴィサイド関数を用い、数値積分の誤差を回避する。

実験結果

リサーチクエスチョン

• RQ1 固定変数数の動的ベイジアンネットワークがチューリング完全な計算を達成可能か？
• RQ2 連続確率変数に離散的子ノードを有する場合、DBNの計算能力を向上させる役割は何か？
• RQ3 ユニバーサル計算を可能にするハイブリッド連続・離散DBNにおいて、正確な推論は可能か？
• RQ4 このようなモデルにおける推論の計算量は、リアルRAMモデル下でどのようにスケーリングするか？
• RQ5 これらの結果は、因果モデリングにおいて一次特徴が不要である可能性をどの程度示唆するか？

主な発見

• 離散的動的ベイジアンネットワークは部分チューリング的であり、隠れマルコフモデルに還元可能であり、RP複雑度クラスに属する確率的言語のみを認識可能である。
• 連続確率変数に離散的子ノードを有する（特にディラックおよびヘヴィサイド分布を用いた）DBNは、2スタックプッシュダウンオートマトンをシミュレートでき、結果としてチューリング完全性を達成する。
• スタック状態を実数として符号化し、スタック操作に決定的条件付き分布を用いることで、本構成はチューリングマシンを忠実にシミュレートする。
• 親ノードがディラック分布に従い、条件付き分布がヘヴィサイド関数である場合、修正版レーナーのアルゴリズムを用いて正確な事後分布の周辺分布を計算可能であり、数値積分の誤差が生じない。
• 任意精度算術を用いる場合、推論は定数時間のオーバーヘッドに留まり、チューリングマシンのリアルタイムシミュレーションが可能となる。
• 本結果により、再帰ニューラルネットワークと動的ベイジアンネットワークの間で表現力に形式的な同等性が確立され、類似条件下で両者ともチューリング完全であることが示された。