[논문 리뷰] On Pruning for Score-Based Bayesian Network Structure Learning

Alvaro H. C. Correia, James Cussens외 1명|TU/e Research Portal|2019. 05. 23.

Bayesian Modeling and Causal Inference참고 문헌 18인용 수 4

한 줄 요약

이 논문은 베이지안 네트워크 구조 학습에서 베이지안 딜리트 등가 균일(BDeu) 점수에 대한 더 날카운 이론적 상한을 제안하며, 점수 계산 없이도 후보 부모 집합을 더 적극적으로 잘라내는 데 기여한다. 제안된 상한은 점수 함수와 최대우도 성질에 대한 새로운 수학적 분석을 통해 유도되었으며, 기존 방법보다 엄밀히 더 낳은 상한을 제공하며, 최소한의 계산 오버헤드로 검색 공간을 크게 줄여 정확한 구조 학습의 효율성을 향상시킨다.

ABSTRACT

Many algorithms for score-based Bayesian network structure learning (BNSL), in particular exact ones, take as input a collection of potentially optimal parent sets for each variable in the data. Constructing such collections naively is computationally intensive since the number of parent sets grows exponentially with the number of variables. Thus, pruning techniques are not only desirable but essential. While good pruning rules exist for the Bayesian Information Criterion (BIC), current results for the Bayesian Dirichlet equivalent uniform (BDeu) score reduce the search space very modestly, hampering the use of the (often preferred) BDeu. We derive new non-trivial theoretical upper bounds for the BDeu score that considerably improve on the state-of-the-art. Since the new bounds are mathematically proven to be tighter than previous ones and at little extra computational cost, they are a promising addition to BNSL methods.

연구 동기 및 목표

• 후보 부모 집합의 수가 기하급수적으로 증가함에 따라 발생하는 정확한 베이지안 네트워크 구조 학습(BNSL)의 계산적 병목 현상을 해결하기 위해.
• 부적절한 부모 집합을 더 효과적으로 잘라내는 데 기여할 수 있는 BDeu 점수에 대한 더 날카운 이론적 상한을 개발하기 위해.
• 약한 잘라내기로 인해 계산적으로 도전적인 데도 자주 선호되는 BDeu 점수를 사용한 정확한 BNSL의 확장성을 향상시키기 위해.
• 기존 BNSL 알고리즘에 통합하기에 수학적으로 엄밀히 더 날카운 동시에 계산적으로 효율적인 상한을 제공하기 위해.

제안 방법

• BDeu 점수 함수의 수학적 구조를 정교화하여 새로운 상한 ub_g를 유도하며, 점수 함수의 성질을 활용해 이전 최고 수준의 상한 ub_f보다 더 날카운 상한을 달성한다.
• 수정된 최대우도 추정 접근 방식에 기반한 두 번째 상한 ub_h를 도입하여, 독립적인 이론적 근거를 가진 보완적인 잘라내기 메커니즘을 제공한다.
• ub_g와 ub_h를 min{ub_g, ub_h}로 조합하여, 서로 겹치지 않는 영역의 검색 공간을 잘라내는 더 날카운 하이브리드 상한을 생성한다.
• 기존 BNSL 파이프라인과 호환되도록, 데이터를 한 번만 스캔하면 되는 방식으로 상한을 설계하여 선형 시간 복잡도를 확보하고 계산 효율성을 보장한다.
• UCI 데이터셋에서 상한을 실증적으로 검증하여, 계산된 점수의 수와 후보 부모 집합 리스트의 크기가 감소하는 것을 입증한다.

실험 결과

연구 질문

• RQ1 BDeu 점수에 대한 더 날카운 이론적 상한을 도출할 수 있는가? 이는 현재 최고 수준의 잘라내기 효율성보다 크게 뛰어나야 한다.
• RQ2 새로운 상한 ub_g와 ub_h는 잘라내기 효과성에서 어떻게 비교되며, 함께 조합했을 때는 더 뛰어난 성능을 낼 수 있는가?
• RQ3 실제로 제안된 상한은 BDeu 점수 계산 횟수와 후보 부모 집합의 크기를 어느 정도 줄이는가?
• RQ4 새로운 상한은 정확한 BNSL 파이프라인에서 실용적으로 적용할 수 있을 정도로 충분히 효율적으로 계산될 수 있는가? 계산 비용이 증가하지 않는가?

주요 결과

• 제안된 상한 ub_g는 모든 후보 부모 집합에 대해 이전 최고 수준의 상한 ub_f보다 수학적으로 더 날카운 것으로 증명되었다.
• 최대우도 추정에 기반한 새로운 접근 방식을 통해 도출된 상한 ub_h는 독립적인 잘라내기 능력을 지니며, ub_f에 의해 지배되지 않는다.
• 조합된 상한 min{ub_g, ub_h}는 그림 2에서 보듯이 ub_f보다 훨씬 더 날카운 잘라내기를 달성하며, 진짜 최적 점수에 더 가까이 접근한다.
• UCI 데이터셋에서의 실증 결과(그림 3)에 따르면, 새로운 상한은 BDeu 점수 계산 횟수를 극적으로 줄이며, 특히 10개 이상의 변수를 가진 더 큰 데이터셋에서 두드러진다.
• 상한은 계산적으로 효율적이며, 단 한 번의 데이터 스캔만으로 계산 가능하며, 최소한의 오버헤드로 기존의 모든 BNSL 방법에 통합될 수 있다.