[論文レビュー] Required sample size for learning sparse Bayesian networks with many variables

Paweł Wocjan, Dominik Janzing+1 more|ArXiv.org|Apr 26, 2002

Bayesian Modeling and Causal Inference参考文献 6被引用数 8

ひとこと要約

この論文は、時間的順序が既知である場合、次数がΔで有界なスパースなベイジアンネットワークを学習するには、変数の数nに対して線形の標本サイズで十分であることを確立している。(2Δ+1)組のシリンダ集合のVC次元を有界化することで、小さな変数集合の条件付き確率の推定が、nに線形に成長する標本複雑性で、全結合分布の効率的学習を可能にすることを示している。

ABSTRACT

Learning joint probability distributions on n random variables requires exponential sample size in the generic case. Here we consider the case that a temporal (or causal) order of the variables is known and that the (unknown) graph of causal dependencies has bounded in-degree Delta. Then the joint measure is uniquely determined by the probabilities of all (2 Delta+1)-tuples. Upper bounds on the sample size required for estimating their probabilities can be given in terms of the VC-dimension of the set of corresponding cylinder sets. The sample size grows less than linearly with n.

研究の動機と目的

• 高次元設定における結合確率分布を信頼性を持って学習するために必要な最小標本サイズを特定すること。
• 特に、有界なイン-degree Δと既知の時間的順序という構造的制約が、ベイジアンネットワークの学習における標本複雑性をどのように低減するかを調査すること。
• 全結合分布の学習における標本複雑性解析を可能にする、(2Δ+1)-組に対応するシリンダ集合のVC次元に対する理論的限界を確立すること。
• 因果グラフがスパースである場合に、全結合分布の学習が線形の標本サイズで実現可能になる条件を示すこと。

提案手法

• 著者たちは、変数の時間的順序が既知であると仮定し、有界なイン-degree Δを持つベイジアンネットワークを用いて結合確率分布をモデル化する。
• 結合分布を(2Δ+1)-組の上での条件付き確率の積として表現することで、推定すべきパラメータ数を削減する。
• これらの組のシリンダ集合のVC次元を、不等式 h ≤ k log₂(nd) を用いて有界化する。ここで k = 2Δ+1 である。
• 部分集合の2進符号化を用いてVC次元の下界を導出し、上界の漸近的タイトネスを示す。
• 真の確率からの相対周波度のずれがεを超えるリスク Rε を集中不等式を用いて有界化し、標本サイズが線形に増加する際、リスクが指数関数的に減少することを示す。
• 理論的限界を用いて、条件付き独立性の検定基準を正当化する：観測された依存性が推定誤差を超えていれば、それが有意であるとみなす。

実験結果

リサーチクエスチョン

• RQ1 因果構造がスパースである場合、n 個の変数の結合確率分布を学習するために必要な最小標本サイズは何か？
• RQ2 既知の時間的順序と有界なイン-degree Δ を仮定することで、ベイジアンネットワークの学習における標本複雑性はどのように変化するか？
• RQ3 (2Δ+1)-組に対応するシリンダ集合のVC次元を、線形の標本サイズスケーリングを可能にする形で有界化できるか？
• RQ4 推定された条件付き確率を用いて、統計的独立性検定を信頼性を持って実施できる条件は何か？

主な発見

• (2Δ+1)-組のシリンダ集合のVC次元は、上界 h ≤ k log₂(nd) で有界であり、k = 2Δ+1 である。これは、複雑性を管理可能に保証する。
• VC次元の下界として ⌊log₂(n−k+1)⌋ が得られ、k と d が定数であるとき、上界が漸近的にタイトであることが示された。
• 相対周波度のずれがεを超える確率推定リスク Rε は、n に線形に増加する標本サイズを用いることで、任意の δ > 0 より小さくできる。
• 標本サイズ l が n に線形に増加する場合、測度の集中効果により、リスク Rε は n とともに指数関数的に減少する。
• 条件付き独立性の検定が信頼性を持って可能である：推定確率の統計的不確実性を超える依存性は、実際の依存性とみなせる。
• 因果グラフが有界なイン-degree Δ であり、時間的順序が既知であれば、全結合分布は線形の標本サイズで効率的に学習可能である。