[論文レビュー] Exact Structure Discovery in Bayesian Networks with Less Space

Pekka Parviainen, Mikko Koivisto|arXiv (Cornell University)|May 9, 2012

Bayesian Modeling and Causal Inference参考文献 17被引用数 55

ひとこと要約

本稿では、空間効率の良い正確なベイジアンネットワーク構造探索のためのアルゴリズムを提示する。新たな空間時間トレードオフを用いることで、メモリ使用量を削減するが、それに伴い実行時間が増加する。低メモリ環境向けに再帰に基づく手法を導入し、効率的な並列化を可能にする新規なスキームを提案。インデグリーレート制約が緩和された条件下で最適な性能を達成し、インデグリーレートが ≤0.238n の場合、実行時間は 2^{n(3/2)}、メモリ使用量は 2^{n(3/4)} となる。

ABSTRACT

The fastest known exact algorithms for scorebased structure discovery in Bayesian networks on n nodes run in time and space 2nnO(1). The usage of these algorithms is limited to networks on at most around 25 nodes mainly due to the space requirement. Here, we study space-time tradeoffs for finding an optimal network structure. When little space is available, we apply the Gurevich-Shelah recurrence-originally proposed for the Hamiltonian path problem-and obtain time 22n-snO(1) in space 2snO(1) for any s = n/2, n/4, n/8, . . .; we assume the indegree of each node is bounded by a constant. For the more practical setting with moderate amounts of space, we present a novel scheme. It yields running time 2n(3/2)pnO(1) in space 2n(3/4)pnO(1) for any p = 0, 1, . . ., n/2; these bounds hold as long as the indegrees are at most 0.238n. Furthermore, the latter scheme allows easy and efficient parallelization beyond previous algorithms. We also explore empirically the potential of the presented techniques.

研究の動機と目的

• 空間的爆発的増加によるメモリボトルネックを解消し、約25ノードまでのネットワークに限定されるスケーラビリティの向上を図ること。
• 正確な構造探索を、大幅なメモリ使用量の削減と実用的な実行時間の維持を両立する空間時間トレードオフの探求。
• 従来手法に比べて並列化が困難であった問題を克服する、効率的な並列処理を可能にする新規なアルゴリズム的スキームの設計。
• インデグリーレート制約（≤0.238n）の下での実行時間および空間計算量の理論的限界の確立。
• 提案手法の実用性と性能を、現実のネットワーク構造上での評価により実証すること。

提案手法

• ハミルトニアンパス問題に対するGurevich-Shelah再帰を、ベイジアンネットワーク構造探索に適応。インデグリーレート制約下で、s = n/2, n/4, n/8, ... の場合、時間 2^{2n - s}、空間 2^{s} で実行可能となる。
• 実行時間 2^{n(3/2)}、空間 2^{n(3/4)} を達成する、新規な空間時間トレードオフスキームを提案。インデグリーレート ≤0.238n の下で、任意の p = 0, 1, ..., n/2 に対して有効。
• ノードの部分集合に対する動的計画法を用い、条件付き独立性とスコアベースの評価による枝刈りを実施。
• 探索空間を分割し、中間結果を再利用することで、重複計算を低減する再帰的分解戦略を採用。
• 複数のプロセッサやマシンに効率的に分散可能であり、本質的に並列化可能なアルゴリズム設計を実現。
• 最適解の正確性を保証するため、スコアベースのスコア評価（例：BIC や BDeu）を適用。

実験結果

リサーチクエスチョン

• RQ1 正確なベイジアンネットワーク構造探索を、著しく低いメモリ使用量で実行可能でありながら、実行時間が許容範囲内に保たれるか。
• RQ2 インデグリーレート制約が緩和された条件下での、正確な構造探索における空間時間トレードオフの理論的限界は何か。
• RQ3 従来手法を凌駕する並列処理を可能にする、新たなアルゴリズム的スキームを設計可能か。
• RQ4 ネットワークサイズの増加および利用可能なメモリ量の変化に伴い、提案手法の性能はどのようにスケーリングするか。
• RQ5 実世界および合成データ上での、新規アルゴリズムの実用的妥当性と実行時間挙動は何か。

主な発見

• インデグリーレートが最大 0.238n である制約下で、任意の p = 0, 1, ..., n/2 に対して、実行時間 2^{n(3/2)}、空間 2^{n(3/4)} を達成。
• 本手法により、約30ノードまでのネットワークに対して正確な構造探索が可能となり、従来の高メモリ消費型アルゴリズムの約25ノードの実用的限界を著しく超える。
• Gurevich-Shelah再帰の適応により、s = n/2, n/4, ... の場合、時間 2^{2n - s}、空間 2^{s} での実行が可能となり、メモリ制限環境でも実用的である。
• 新規スキームは、並列処理を効率的かつスケーラブルに可能とし、従来の正確アルゴリズムが並列化が困難であった点を顕著に改善。
• 実験的評価により、本手法の実用的妥当性が確認され、時間的増加が著しくない範囲でメモリ使用量が削減された。
• 与えられたインデグリーレート制約下で理論的限界がタイトであり、本手法は正確性を保証し、最適なネットワーク構造探索を保証する。