[論文レビュー] Learning Identifiable Gaussian Bayesian Networks in Polynomial Time and Sample Complexity

Asish Ghoshal, Jean Honorio|arXiv (Cornell University)|Mar 3, 2017

Bayesian Modeling and Causal Inference被引用数 22

ひとこと要約

本稿では、等しいノイズ分散を有するスパースなガウス型ベイジアンネットワークの構造を、逆分散推定と最小二乗回帰を活用して多項式時間で学習するアルゴリズムを提案する。弱い忠実性条件を仮定しても、O(k⁴ log p)のサンプル数で高確率に正確なDAG回復を達成し、先行研究よりも優れた性能を示す。

ABSTRACT

Learning the directed acyclic graph (DAG) structure of a Bayesian network from observational data is a notoriously difficult problem for which many hardness results are known. In this paper we propose a provably polynomial-time algorithm for learning sparse Gaussian Bayesian networks with equal noise variance --- a class of Bayesian networks for which the DAG structure can be uniquely identified from observational data --- under high-dimensional settings. We show that $O(k^4 \log p)$ number of samples suffices for our method to recover the true DAG structure with high probability, where $p$ is the number of variables and $k$ is the maximum Markov blanket size. We obtain our theoretical guarantees under a condition called Restricted Strong Adjacency Faithfulness, which is strictly weaker than strong faithfulness --- a condition that other methods based on conditional independence testing need for their success. The sample complexity of our method matches the information-theoretic limits in terms of the dependence on $p$. We show that our method out-performs existing state-of-the-art methods for learning Gaussian Bayesian networks in terms of recovering the true DAG structure while being comparable in speed to heuristic methods.

研究の動機と目的

• 等しいノイズ分散を有するスパースなガウス型ベイジアンネットワークの構造を、証明可能に効率的なアルゴリズムで学習すること。
• 強い忠実性よりも弱い仮定、具体的には制限付き強い隣接忠実性（RSAF）のもとで正確なDAG回復を達成すること。
• p（変数数）が大きく、k（マークフ・ブラケットのサイズ）が小さい高次元設定において、情報理論的サンプル数の限界に一致すること。
• 構造学習において、スコアベースおよび独立性検定ベースの既存手法を、精度と計算効率の両面で上回ること。

提案手法

• 観測データからp次元の逆分散共分散行列を推定する。
• DAG構造の回復に、最大k次元の通常最小二乗問題を2(p−1)個解く。
• 本アルゴリズムは、強い忠実性よりも厳密に弱い新しい条件であるα-制限付き強い隣接忠実性（RSAF）に依存する。
• 高次元設定における推定誤差を制御するため、正則化パラメータを2√(log p / n)に設定する。
• 計算複雑度がpおよびkに関して多項式になるように、スケーラブルに設計されている。
• RSAFのもとで理論的保証が得られ、O(k⁴ log p)のサンプル数で真のDAGを高確率で回復可能である。

実験結果

リサーチクエスチョン

• RQ1 等しいノイズ分散を有するスパースなガウス型ベイジアンネットワークの正確なDAG構造を、多項式時間およびサンプル数で学習可能か？
• RQ2 提案手法は情報理論的下限に近いサンプル数を達成するか？
• RQ3 制限付き強い隣接忠実性（RSAF）の仮定は、強い忠実性よりも厳密に弱いか？ これにより、より広範な適用可能性が得られるか？
• RQ4 構造回復の精度と計算速度の観点から、既存の最先端アルゴリズムと比較してどのように差がつくか？

主な発見

• 提案手法は、O(k⁴ log p)のサンプル数で、確率1−δ以上で真のDAG構造を回復可能であり、情報理論的限界に対数因子を除いて一致する。
• 全テスト設定（p = 50〜200）において、完全な精度と再現率（1.000 ± 0.000）を達成しており、真のDAGの正確な回復を示している。
• MMHCやGESよりも著しく高速であり、p=50では0.089秒、p=200では5.13秒の実行時間で、PCよりも高速であるが、PCは精度が低い。
• RSAFのもとでは、強い忠実性に依存する独立性検定ベース手法（例：PC）が失敗する状況でも、本手法は成功する。
• p=200、k=5の高次元設定でも高い精度を維持しており、スケーラビリティを示している。
• 理論的解析により、本手法のサンプル複雑度は対数因子を除いて最適であり、O(k log p)の情報理論的下限に近づくことが示された。