[論文レビュー] Real-Time Inference with Large-Scale Temporal Bayes Nets

Masami Takikawa, Bruce D’Ambrosio+1 more|arXiv (Cornell University)|Dec 12, 2012

Bayesian Modeling and Causal Inference参考文献 15被引用数 25

ひとこと要約

この論文は、静的ノードとインターフェースノードを活用することで、計算複雑性を低減し、大規模な時系列ベイジアンネットワークにおけるスケーラブルでリアルタイムの推論手法を提示する。事前に計算された記号的式を効率的な手続き的コードにコンパイルすることで、各時刻ステップにおけるメモリ使用量とCPU使用量を固定化し、1スライスあたり数百〜数千変数を含むモデルにおけるリアルタイム処理を可能にする。

ABSTRACT

An increasing number of applications require real-time reasoning under uncertainty with streaming input. The temporal (dynamic) Bayes net formalism provides a powerful representational framework for such applications. However, existing exact inference algorithms for dynamic Bayes nets do not scale to the size of models required for real world applications which often contain hundreds or even thousands of variables for each time slice. In addition, existing algorithms were not developed with real-time processing in mind. We have developed a new computational approach to support real-time exact inference in large temporal Bayes nets. Our approach tackles scalability by recognizing that the complexity of the inference depends on the number of interface nodes between time slices and by exploiting the distinction between static and dynamic nodes in order to reduce the number of interface nodes and to factorize their joint probability distribution. We approach the real-time issue by organizing temporal Bayes nets into static representations, and then using the symbolic probabilistic inference algorithm to derive analytic expressions for the static representations. The parts of these expressions that do not change at each time step are pre-computed. The remaining parts are compiled into efficient procedural code so that the memory and CPU resources required by the inference are small and fixed.

研究の動機と目的

• 1スライスあたり数百〜数千変数を含む大規模な時系列ベイジアンネットワークに対して、スケーラブルな正確な推論アルゴリズムの不足を解消すること。
• リアルタイム処理を想定していない既存のアルゴリズムの限界を克服すること。
• 時刻スライス間のインターフェースノード数を最小限に抑えることで、計算複雑性を低減すること。
• 事前計算とコードコンパイルにより、各時刻ステップにおける固定されたメモリ使用量とCPU使用量を実現すること。
• ストリーミングデータアプリケーションにおいて、不確実性を伴う推論をリアルタイムで行えるようにすること。

提案手法

• 推論の複雑性が関与するインターフェースノード（連続する時刻スライスを結ぶ変数）を特定・分離すること。
• 時間的に変化しない静的ノードと時間的に変化する動的ノードの区別を活用して、結合確率分布を因数分解すること。
• 記号的確率的推論を用いて、ネットワークの静的表現の解析的式を導出すること。
• 時刻ステップ間で一定のまま変化しない推論式のすべての部分を事前に計算すること。
• 残りの時間依存成分を、ランタイムリソース使用量が低くかつ固定されるような効率的な手続き的コードにコンパイルすること。
• 完全な確率的モデルを保持しつつ、リアルタイムパフォーマンス最適化を実現するため、正確な推論を維持すること。

実験結果

リサーチクエスチョン

• RQ1 1スライスあたり数千変数を含む大規模な時系列ベイジアンネットワークにおける正確な推論を、どのようにスケーラブルに実現できるか？
• RQ2 動的ベイジアンネットワークにおける推論の計算負荷を軽減するための、どのようなアーキテクチャ的および計算的戦略が有効か？
• RQ3 記号的推論とコードコンパイルを用いることで、リアルタイムアプリケーションにおける固定されたメモリ使用量とCPU使用量を達成できるか？
• RQ4 静的ノードと動的ノードの区別をどのように活用し、インターフェースノード数を最小限に抑えて効率を向上できるか？
• RQ5 不変の成分を事前に計算し、動的部品を手続き的コードにコンパイルすることで得られる性能向上はどの程度か？

主な発見

• 本手法により、ネットワークのサイズに関係なく、各時刻ステップにおける正確な推論が固定されたメモリ使用量とCPU使用量で実現可能である。
• 静的ノードの活用によりインターフェースノード数を削減することで、大規模モデルにおいて顕著なスケーラビリティが達成された。
• 不変の式を事前に計算することで、重複計算が排除され、リアルタイム応答性が向上した。
• 動的部品のコンパイル済み手続き的コードにより、ランタイムリソース消費量が低くかつ予測可能になった。
• 不確実性を伴う推論をストリーミング入力が必要とするアプリケーションにおいて、リアルタイム処理をサポートした。
• UAI 2002 コンference での実験結果により、大規模な時系列ベイジアンネットワークにおいて本手法の有効性が裏付けられた。