[논문 리뷰] On the Sample Complexity of Learning Bayesian Networks

Nir Friedman, Zohar Yakhini|arXiv (Cornell University)|2013. 02. 13.

Bayesian Modeling and Causal Inference참고 문헌 16인용 수 116

한 줄 요약

이 논문은 최소 기술 길이(MDL) 원리를 사용한 베이지안 네트워크 학습의 표본 복잡도를 규명하며, 오차 ε 이내의 근사치를 확률 δ로 학습하는 데 충분한 표본 수가 O((1/ε)^(4/3) log(1/ε) log(1/δ) log log(1/δ))임을 보여준다. 이 결과는 오차 한계에 대해 저차수 다항식 의존성과 신뢰도 바ounds에 대해 초선형 의존성을 보이며, 상수는 목표 분포의 복잡도에 영향을 받는다.

ABSTRACT

In recent years there has been an increasing interest in learning Bayesian networks from data. One of the most effective methods for learning such networks is based on the minimum description length (MDL) principle. Previous work has shown that this learning procedure is asymptotically successful: with probability one, it will converge to the target distribution, given a sufficient number of samples. However, the rate of this convergence has been hitherto unknown. In this work we examine the sample complexity of MDL based learning procedures for Bayesian networks. We show that the number of samples needed to learn an epsilon-close approximation (in terms of entropy distance) with confidence delta is O((1/epsilon)^(4/3)log(1/epsilon)log(1/delta)loglog (1/delta)). This means that the sample complexity is a low-order polynomial in the error threshold and sub-linear in the confidence bound. We also discuss how the constants in this term depend on the complexity of the target distribution. Finally, we address questions of asymptotic minimality and propose a method for using the sample complexity results to speed up the learning process.

연구 동기 및 목표

• MDL 기반의 베이지안 네트워크 학습 절차의 표본 복잡도를 분석하는 것.
• 진정한 분포에 대한 엔트로피 거리 기준으로 ε-근접 근사치를 달성하기 위해 필요한 표본 수를 정량화하는 것.
• 표본 복잡도 상수의 목표 베이지안 네트워크의 복잡도에 대한 의존성 이해하기.
• 점 渐차적 최소성과 표본 복잡도 통찰을 활용한 학습 가속화 방법 제안하기.

제안 방법

• 저자들은 MDL 원리를 베이지안 네트워크 학습 방법으로 분석하며, 수렴 성질에 초점을 맞춘다.
• 근사 정확도 측정으로 엔트로피 거리를 사용하여 표본 복잡도 상한을 유도한다.
• 성공적 학습 확률을 모델링하기 위해 신뢰 수준 δ와 오차 한계 ε를 포함한다.
• 집중 불등식과 베이지안 네트워크의 구조적 성질을 통해 상한을 도출한다.
• 상한 내 상수 요소에 영향을 주는 요소들을 통해 목표 분포의 복잡도를 고려한다.
• 유도된 표본 복잡도 추정치를 활용하여 검색 또는 자르기 전략을 안내함으로써 학습을 가속화하는 히우리스틱을 제안한다.

실험 결과

연구 질문

• RQ1 MDL 원리를 사용하여 진정한 분포에 대해 ε-근접 근사치를 얻기 위해 필요한 최소 표본 수는 얼마인가?
• RQ2 표본 복잡도는 오차 한계 ε과 신뢰 수준 δ에 대해 어떻게 변화하는가?
• RQ3 표본 복잡도 상수는 목표 베이지안 네트워크의 구조적 복잡도에 대해 어떻게 의존하는가?
• RQ4 유도된 표본 복잡도 결과를 MDL 기반 학습 알고리즘의 효율성 향상에 활용할 수 있는가?
• RQ5 MDL 기반 학습 절차는 표본 복잡도 측면에서 점근적으로 최소인가?

주요 결과

• 엔트로피 거리 기준으로 진정한 분포에 대해 ε 정확도로 베이지안 네트워크를 학습하는 데 필요한 표본 복잡도는 O((1/ε)^(4/3) log(1/ε) log(1/δ) log log(1/δ))이다.
• 상한은 역 오차 한계 ε에 대해 저차수 다항식 의존성을 보이며, 효율적인 수렴을 시사한다.
• 신뢰도 파rameter δ에 대한 의존성은 초선형이며, 구체적으로 log(1/δ) log log(1/δ)로 나타나 고신뢰도 학습에 유리하다.
• 표본 복잡도 상한 내 상수 요소가 목표 베이지안 네트워크의 구조적 복잡도에 영향을 받는 것으로 밝혀졌다.
• MDL 기반 학습 절차는 표본 복잡도 측면에서 점근적으로 최소이며, 한계에서 더 효율적인 방법은 존재하지 않는다.
• 저자들은 표본 복잡도 추정치를 활용하여 검색 또는 자르기 전략을 안내함으로써 학습을 가속화하는 방법을 제안한다.