[논문 리뷰] SparsityBoost: A New Scoring Function for Learning Bayesian Network Structure

Eliot Brenner, David Sontag|arXiv (Cornell University)|2013. 09. 26.

Bayesian Modeling and Causal Inference참고 문헌 22인용 수 4

한 줄 요약

SparsityBoost는 조건부 이상성 검정의 통계적 검정력에 기반하여 복잡성 페널티를 데이터에 따라 조정하는 베이지안 네트워크 구조 학습을 위한 데이터 의존적 스코링 함수를 도입한다. 이는 데이터가 증가함에 따라 더 효율적이고 일관된 구조 학습을 가능하게 하며, 다항 수준의 표본 복잡도로 완벽한 지도 조건 하에서 간선이 없는 구조의 정확한 복원을 보장한다.

ABSTRACT

We give a new consistent scoring function for structure learning of Bayesian networks. In contrast to traditional approaches to scorebased structure learning, such as BDeu or MDL, the complexity penalty that we propose is data-dependent and is given by the probability that a conditional independence test correctly shows that an edge cannot exist. What really distinguishes this new scoring function from earlier work is that it has the property of becoming computationally easier to maximize as the amount of data increases. We prove a polynomial sample complexity result, showing that maximizing this score is guaranteed to correctly learn a structure with no false edges and a distribution close to the generating distribution, whenever there exists a Bayesian network which is a perfect map for the data generating distribution. Although the new score can be used with any search algorithm, we give empirical results showing that it is particularly effective when used together with a linear programming relaxation approach to Bayesian network structure learning.

연구 동기 및 목표

• 기존의 BDeu나 MDL 등의 전통적 스코링 함수가 베이지안 네트워크 구조 학습에서 가지는 한계를 해결하기 위해.
• 데이터 크기가 증가함에 따라 최대화하기가 계산적으로 쉬워지는 스코링 함수를 개발하기 위해.
• 완벽한 지도가 존재할 경우 다항 수준의 표본 복잡도로 일관된 구조 학습을 보장하기 위해.
• 특히 선형 프로그래밍 리라크스레이션과 조합했을 때, 구조 학습의 효율성과 정확도를 향상시키기 위해.

제안 방법

• 스코링 함수는 조건부 이상성 검정이 간선를 올바르게 기각할 확률에 기반한 데이터 의존적 복잡성 페널티를 통합한다.
• 조건부 이상성 검정의 통계적 검정력을 활용하여 간선가 존재하지 않을 가능성을 평가한다.
• 데이터가 증가함에 따라 스코어 최대화가 계산적으로 다룰 수 있게 설계되어 있다.
• 효율적인 구조 공간 탐색을 위해 선형 프로그래밍 리라크스레이션 방법을 사용한다.
• 데이터 생성 분포에 대해 완벽한 지도가 존재하는 가정 하에 스코어가 일관성을 보임을 증명하였다.
• 구조 학습을 지도하는 데 통계적 가설 검정을 통합하여 간선 선택을 안내한다.

실험 결과

연구 질문

• RQ1 데이터 기반의 통계적 검정력에 따라 페널티를 조정하는 스코링 함수를 설계할 수 있는가?
• RQ2 데이터가 증가함에 따라 데이터 의존적 스코링 함수가 구조 학습의 계산 효율성을 향상시키는가?
• RQ3 이러한 함수가 다항 수준의 표본 복잡도로 진정한 베이지안 네트워크 구조를 일관되게 복원할 수 있는가?
• RQ4 SparsityBoost의 정확도와 확장성 측면에서 기존의 BDeu나 MDL 스코어와 비교해 볼 때 성능은 어떠한가?
• RQ5 SparsityBoost를 선형 프로그래밍 리라크스레이션과 조합했을 때, 구조 학습의 효율성에 어떤 영향을 미치는가?

주요 결과

• 데이터 생성 분포에 대해 완벽한 지도가 존재할 경우 SparsityBoost는 다항 수준의 표본 복잡도로 일관된 구조 학습을 보장한다.
• 데이터 양이 증가함에 따라 스코링 함수의 최대화가 계산적으로 더 쉬워져 확장성이 향상된다.
• 실험 결과, 선형 프로그래밍 리라크스레이션과 함께 사용했을 때 SparsityBoost가 기존 스코어를 능가하는 것으로 나타났다.
• 조건부 이상성 검정의 통계적 검정력을 활용하여 불필요한 간선에 대해 페널티를 주어 가짜 양성(false positives)을 효과적으로 줄였다.
• 데이터 생성 분포에 완벽한 지도가 존재할 경우 간선이 없는 구조를 정확하게 복원하는 데 높은 정확도를 달성하였다.
• 조건부 이상성 검정의 신뢰성을 반영하는 데이터 적응형 페널티를 통해 효율적인 최적화를 가능하게 하였다.