[論文レビュー] Bayesian Structure Learning by Recursive Bootstrap

Raanan Y. Rohekar, Yaniv Gurwicz+3 more|arXiv (Cornell University)|Jan 1, 2018

Bayesian Modeling and Causal Inference被引用数 5

ひとこと要約

本論文は、高次元ドメインにおける独立性検定の誤りに対するロバスト性を向上させるために、複数レベルの条件付き独立性におけるノンパラメトリックブートストラップを活用する、再帰的ブートストラップに基づくベイジアン構造学習手法を提案する。この手法は、スコア化されたCPDAGの木構造を構築し、より深いレベルではより多くのブートストラップ標本を用いることで高次依存関係を安定化させる。これにより、数百変数のドメインにおいて、最先端の手法と比較して優れたモデル選択とアンサンブルを実現する、正確な因果構造のスケーラブルな学習が可能になる。

ABSTRACT

We address the problem of Bayesian structure learning for domains with hundreds of variables by employing non-parametric bootstrap, recursively. We propose a method that covers both model averaging and model selection in the same framework. The proposed method deals with the main weakness of constraint-based learning---sensitivity to errors in the independence tests---by a novel way of combining bootstrap with constraint-based learning. Essentially, we provide an algorithm for learning a tree, in which each node represents a scored CPDAG for a subset of variables and the level of the node corresponds to the maximal order of conditional independencies that are encoded in the graph. As higher order independencies are tested in deeper recursive calls, they benefit from more bootstrap samples, and therefore are more resistant to the curse-of-dimensionality. Moreover, the re-use of stable low order independencies allows greater computational efficiency. We also provide an algorithm for sampling CPDAGs efficiently from their posterior given the learned tree. That is, not from the full posterior, but from a reduced space of CPDAGs encoded in the learned tree. We empirically demonstrate that the proposed algorithm scales well to hundreds of variables, and learns better MAP models and more reliable causal relationships between variables, than other state-of-the-art-methods.

研究の動機と目的

• 高次元ドメインにおける制約ベースのベイジアン構造学習が、独立性検定の誤りに対して感受性を示す問題に対処すること。
• 再帰的ブートストラップサンプリングを用いて、数百変数のドメインにおけるスケーラブルな構造学習を可能にすること。
• CPDAGの木構造的表現を用いて、モデルアンサンブルとモデル選択を一つの枠組みで統合すること。
• 高次条件付き独立性に多くのブートストラップ標本を割り当てることで、次元の呪いに対するロバスト性を向上させること。
• 構造に依存する空間に制限されたCPDAGの事後分布からの効率的な事後サンプリングを可能にし、計算効率を向上させること。

提案手法

• この手法は、各ノードが変数のサブセットのスコア化されたCPDAGを表す木構造を構築する。ノードの深さは、エンコードされた最大の条件付き独立性の次数に対応する。
• より深いレベルでの再帰的呼び出しにより、高次条件付き独立性がテストされ、次元の問題を緩和するための増加したブートストラップ標本サイズの恩恵を受ける。
• 安定した低次条件付き独立性が複数のレベルにわたって再利用されることで、計算効率が向上し、冗長性が低減される。
• 制約ベースの学習とリサンプリングを統合する新しいブートストラップ統合戦略を提案し、誤った独立性検定への感受性を低減する。
• 学習された木構造にエンコードされたCPDAGの事後分布に制限された、効率的なサンプリングアルゴリズムを導入する。
• この手法はベイジアンフレームワーク内で動作し、スコア化と順位付けを、完全な空間のうち扱いやすい部分集合に焦点を当てて行う。

実験結果

リサーチクエスチョン

• RQ1 ブートストラップリサンプリングを再帰的に適用することで、高次元ドメインにおける制約ベースの構造学習の安定性をどのように向上させられるか？
• RQ2 再帰的ブートストラップサンプリングは、標準的な制約ベースの手法と比較して、学習されたCPDAGの正確性をどの程度向上させるか？
• RQ3 CPDAGの木構造的表現は、数百変数のドメインにおけるスケーラブルかつ効率的なベイジアン構造学習を可能にするか？
• RQ4 MAPモデル選択と因果関係の回復という観点から、提案手法は最先端の手法と比較してどの程度の性能を示すか？
• RQ5 高次条件付き独立性に多くのブートストラップ標本を割り当てることで、モデルのロバスト性にどのような影響を与えるか？

主な発見

• 提案手法は、数百変数のドメインに効果的にスケーリングされ、計算効率とスケーラビリティにおいて既存の手法を上回る。
• 最先端の手法と比較して、より優れた最大事後確率（MAP）モデルを学習しており、構造的正確性の向上が裏付けられている。
• 再帰的ブートストラップサンプリングの統合により、独立性検定の誤りへの感受性が低減され、より信頼性の高い因果関係が得られる。
• より深い木のレベルでは、高次条件付き独立性が増加したブートストラップ標本サイズの恩恵を受けることで、安定性が向上し、次元の呪いの影響が軽減される。
• 木にエンコードされたCPDAGの制限付き空間における効率的な事後サンプリングにより、モデル品質を損なわずに高速な推論が可能になる。
• 安定した低次独立性が複数のレベルにわたって再利用されることで、計算効率とモデルの一貫性が著しく向上する。