[論文レビュー] On the Sample Complexity of Learning Bayesian Networks

Nir Friedman, Zohar Yakhini|arXiv (Cornell University)|Feb 13, 2013

Bayesian Modeling and Causal Inference参考文献 16被引用数 116

ひとこと要約

この論文は、最小記述長（MDL）原理を用いたベイジアンネットワークの学習における標本複雑度を確立し、ε-近似の妥当性をδの信頼度で達成するのに十分な標本数が O((1/ε)^(4/3) log(1/ε) log(1/δ) log log(1/δ)) であることを示している。この結果は、誤差閾値に対して低次の多項式的依存と、信頼度バウンダにほぼ線形でない依存を示しており、定数はターゲット分布の複雑さに依存する。

ABSTRACT

In recent years there has been an increasing interest in learning Bayesian networks from data. One of the most effective methods for learning such networks is based on the minimum description length (MDL) principle. Previous work has shown that this learning procedure is asymptotically successful: with probability one, it will converge to the target distribution, given a sufficient number of samples. However, the rate of this convergence has been hitherto unknown. In this work we examine the sample complexity of MDL based learning procedures for Bayesian networks. We show that the number of samples needed to learn an epsilon-close approximation (in terms of entropy distance) with confidence delta is O((1/epsilon)^(4/3)log(1/epsilon)log(1/delta)loglog (1/delta)). This means that the sample complexity is a low-order polynomial in the error threshold and sub-linear in the confidence bound. We also discuss how the constants in this term depend on the complexity of the target distribution. Finally, we address questions of asymptotic minimality and propose a method for using the sample complexity results to speed up the learning process.

研究の動機と目的

• MDLに基づくベイジアンネットワーク学習手順の標本複雑度を分析すること。
• エントロピー距離に基づく真の分布のε-近似を達成するために必要な標本数を定量化すること。
• 標本複雑度バウンダの定数がターゲットベイジアンネットワークの構造的複雑さにどのように依存するかを理解すること。
• 漸近的最小性を調査し、標本複雑度の知見を活用して学習を高速化する手法を提案すること。

提案手法

• 著者は、収束性に注目して、MDL原理をベイジアンネットワークの学習手法として分析する。
• 近似精度の指標としてエントロピー距離を用いて、標本複雑度バウンダを導出する。
• 成功確率をモデル化するため、信頼度パラメータδと誤差閾値εを組み込む。
• 集中不等式とベイジアンネットワークの構造的性質を用いてバウンダを導出する。
• バウンダ内の定数要因に影響を与えるパラメータを用いて、ターゲット分布の複雑さを考慮する。
• 導出された標本複雑度推定値を活用して、探索やプルーニング戦略をガイドするヒューリスティックを提案する。

実験結果

リサーチクエスチョン

• RQ1 MDL原理を用いて真の分布のε-近似を達成するための最小標本数は何か？
• RQ2 標本複雑度は誤差閾値εおよび信頼度δに対してどのようにスケーリングされるか？
• RQ3 標本複雑度の定数は、ターゲットベイジアンネットワークの構造的複雑さにどのように依存するか？
• RQ4 導出された標本複雑度の結果を、MDLに基づく学習アルゴリズムの効率を向上させるために活用できるか？
• RQ5 MDLに基づく学習手順は、標本複雑度の観点から漸近的に最小であるか？

主な発見

• エントロピー距離において真の分布のε-精度でベイジアンネットワークを学習するための標本複雑度は O((1/ε)^(4/3) log(1/ε) log(1/δ) log log(1/δ)) である。
• バウンダは逆誤差閾値εに対して低次の多項式的依存を示しており、収束が効率的であることを示している。
• 信頼度パラメータδへの依存はほぼ線形でない、具体的には log(1/δ) log log(1/δ) であり、高信頼度学習において有利である。
• 標本複雑度バウンダの定数がターゲットベイジアンネットワーク構造の複雑さに依存することが示された。
• MDLに基づく学習手順は、標本複雑度において漸近的に最小である。これは、極限においてははるかに効率的な手法は存在しないことを意味する。
• 著者は、標本複雑度推定値を活用して、探索やプルーニング戦略をガイドすることで学習を高速化する手法を提案した。