[論文レビュー] Information-theoretic limits of Bayesian network structure learning

Asish Ghoshal, Jean Honorio|arXiv (Cornell University)|Jan 27, 2016

Bayesian Modeling and Causal Inference被引用数 3

ひとこと要約

本稿は、ベイジアンネットワーク（BN）の構造を回復するのに必要な標本量の情報理論的下界を確立し、非スパースBNではΩ(m)の標本が必要であり、最大入次数kのスパースBNではΩ(k log m + k²/m)であることを示している。指数分布族BNに適用可能な拡張されたFanoの不等式に基づく一般化された手法を導入し、CPTベース、ガウス、ノイズありOR、ロジスティック回帰BNに対してタイトな下界を導出。これにより、SparsityBoostのような既存のアルゴリズムが標本効率において著しく最適でないことが明らかになった。

ABSTRACT

In this paper, we study the information-theoretic limits of learning the structure of Bayesian networks (BNs), on discrete as well as continuous random variables, from a finite number of samples. We show that the minimum number of samples required by any procedure to recover the correct structure grows as $Ω(m)$ and $Ω(k \log m + (k^2/m))$ for non-sparse and sparse BNs respectively, where $m$ is the number of variables and $k$ is the maximum number of parents per node. We provide a simple recipe, based on an extension of the Fano's inequality, to obtain information-theoretic limits of structure recovery for any exponential family BN. We instantiate our result for specific conditional distributions in the exponential family to characterize the fundamental limits of learning various commonly used BNs, such as conditional probability table based networks, gaussian BNs, noisy-OR networks, and logistic regression networks. En route to obtaining our main results, we obtain tight bounds on the number of sparse and non-sparse essential-DAGs. Finally, as a byproduct, we recover the information-theoretic limits of sparse variable selection for logistic regression.

研究の動機と目的

• データからベイジアンネットワーク（BN）の構造を一貫して回復するのに必要な根本的な最小標本サイズを特定すること。
• 任意の指数分布族BNに適用可能な一般化された手法を開発し、標本量複雑度における情報理論的下界を導出すること。
• 条件付き確率表（CPT）、ガウス、ノイズありOR、ロジスティック回帰ネットワークを含む特定のBNタイプの標本量複雑度の限界を同定すること。
• 現在のアルゴリズム（例：SparsityBoost）と情報理論的限界との間の標本効率のギャップを定量化すること。
• 潜在変数を扱うためのFanoの不等式の拡張を行い、指数分布族分布間のKLダイバージェンスの下界を導出すること。

提案手法

• 潜在変数を含む設定に拡張されたFanoの不等式を用いた、情報理論的限界の一般化されたレシピを導出する。
• 拡張されたFanoの不等式を指数分布族分布に適用し、自然パrameter化と十分統計量を活用する。
• 構造回復の複雑さを定量化するために、本質的DAG（スパースおよび非スパース両方）の数に対するタイトな下界を確立する。
• 各BNタイプについて、パrametricな仮定を用いて観測データと真のDAG構造の間の相互情報量の上界を計算する。
• 相互情報量の上界をFanoの不等式と組み合わせ、信頼性のある構造回復に必要な最小標本サイズの下界を導出する。
• CPTベース、ガウス、ノイズありOR、ロジスティック回帰BNなどの特定のBNモデルにこのフレームワークを適用し、各々の明示的な標本量複雑度の下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 どのような学習アルゴリズムを用いても、ベイジアンネットワークの真のDAG構造を信頼性高く回復するのに必要な最小標本数は何か？
• RQ2 非スパースBNとスパースBNの間で、情報理論的標本量複雑度の限界はどのように異なるか？
• RQ3 CPTBNのSparsityBoostのような既存の構造学習アルゴリズムは、根本的な標本量複雑度の限界からどの程度逸脱しているか？
• RQ4 任意の指数分布族に属するベイジアンネットワークに対して、情報理論的限界を導出する統一されたフレームワークを開発可能か？
• RQ5 モデル固有のパrameter（例：最小確率θ_min や重みノルムw_max^1）は、根本的な標本量複雑度にどのような影響を及えるか？

主な発見

• 非スパースBNの構造を回復するのに必要な最小標本数はΩ(m)であり、mは変数の数を表す。
• 最大入次数kのスパースBNでは、必要な標本サイズはΩ(k log m + k²/m)であり、kがmに比べて小さい場合にO(k² log m)の上界と一致する。
• ロジスティック回帰BNの標本量複雑度の下界は、重みベクトルのℓ₁ノルムがw_max^1 ≤ 1/kで制限される場合、Ω(k² log m)にスケーリングされ、Ravikumarら[3]の上界と一致する。これは情報理論的最適性を示している。
• 二値CPTBNのSparsityBoostアルゴリズムの標本量複雑度はO(m² / θ_min)であるが、情報理論的下界Ω((k log m + k²/m) / log(1/θ_min))に比べて著しく劣っている。
• レイヤー構造を持つベイジアンネットワーク（ノードの順序がレイヤーごとに既知）を学習する際の標本量複雑度は、一般BNと同等であり、レイヤー化が根本的な難易度を軽減しないことを示している。
• 本稿では、2つの指数分布族分布間のKLダイバージェンスに対する新しい上界を提示し、自然パrameterの差と期待値の十分統計量の内積として表現している。これは重要な技術的貢献である。