[논문 리뷰] Beyond Uniform Priors in Bayesian Network Structure Learning

Marco Scutari|arXiv (Cornell University)|2017. 04. 12.

Bayesian Modeling and Causal Inference참고 문헌 25인용 수 3

한 줄 요약

이 논문은 베이지안 네트워크 구조 학습에서 표준 uniform (U) + BDeu 점수의 대안으로 베이지안 딜리트 스파스 (BDs) 주변 우도와 주변 균일 (MU) 그래프 사전분포를 제안한다. MU+BDs는 계산 비용 증가 없이도 소규모 및 희박한 데이터셋에서 구조 학습 정확도를 크게 향상시키며, 예측 성능은 경쟁 수준을 유지함을 입증한다.

ABSTRACT

Bayesian network structure learning is often performed in a Bayesian setting, evaluating candidate structures using their posterior probabilities for a given data set. Score-based algorithms then use those posterior probabilities as an objective function and return the maximum a posteriori network as the learned model. For discrete Bayesian networks, the canonical choice for a posterior score is the Bayesian Dirichlet equivalent uniform (BDeu) marginal likelihood with a uniform (U) graph prior, which assumes a uniform prior both on the network structures and on the parameters of the networks. In this paper, we investigate the problems arising from these assumptions, focusing on those caused by small sample sizes and sparse data. We then propose an alternative posterior score: the Bayesian Dirichlet sparse (BDs) marginal likelihood with a marginal uniform (MU) graph prior. Like U+BDeu, MU+BDs does not require any prior information on the probabilistic structure of the data and can be used as a replacement noninformative score. We study its theoretical properties and we evaluate its performance in an extensive simulation study, showing that MU+BDs is both more accurate than U+BDeu in learning the structure of the network and competitive in predicting power, while not being computationally more complex to estimate.

연구 동기 및 목표

• 표준 uniform (U) + BDeu 점수의 한계, 특히 소규모 표본 크기와 희박한 데이터에서의 성능 문제를 해결하기 위해.
• 이산 베이지안 네트워크에서 네트워크 구조 및 파라미터에 대한 균일 사전분포의 이론적 및 실증적 한계를 조사하기 위해.
• 희박한 데이터 특성을 더 잘 반영하면서도 비정보성이며 계산 효율성이 높은 새로운 사후 점수인 BDs에 MU 사전분포를 결합한 점수를 제안하기 위해.
• 다양한 벤치마크 네트워크와 데이터 환경에서 새로운 점수의 구조 정확도 및 예측 성능을 평가하기 위해.

제안 방법

• 희박한 데이터를 더 잘 다루기 위해 조건부 확률 표를 희박하게 만들도록 유리한 베이지안 딜리트 스파스 (BDs) 주변 우도를 BDeu 점수의 비정보적 대안으로 제안한다.
• 모든 DAG에 균일한 확률을 할당하는 주변 균일 (MU) 그래프 사전분포를 도입하여, 표준 균일 사전분포의 구조적 편향을 피하면서도 비정보성 성질을 유지한다.
• MU+BDs 점수의 이론적 성질을 유도하며, 특히 희박한 데이터 조건 하에서의 일致성과 渐近적 행동을 분석한다.
• 10개의 벤치마크 베이지안 네트워크(예: Alarm, Hailfinder, Hepar2)를 대상으로 다양한 표본-변수 비율(n/p = 0.1, 0.2, 0.5)에서 종합적인 시뮬레이션 연구를 수행한다.
• 진짜 DAG를 복원하는 데서의 정확도를 측정하기 위해 구조적 히민 거리(SHD)를 사용하고, 모델 성능 평가를 위해 예측 로그우도를 활용한다.
• MU+BDs를 U+BDeu 및 MU 사전분포의 다른 변형들과 비교하여 평가하며, 평균 SHD 및 예측 로그우도 등 다양한 지표를 사용한다.

실험 결과

연구 질문

• RQ1 소규모 및 희박한 데이터에서 DAG와 파라미터에 대한 균일 사전분포가 구조 학습 정확도에 어떤 영향을 미치는가?
• RQ2 희박한 데이터에서 U+BDeu에 비해 BDs 주변 우도에 MU 그래프 사전분포를 결합한 경우 더 정확한 네트워크 구조를 도출할 수 있는가?
• RQ3 제안된 MU+BDs 점수는 U+BDeu에 비해 예측 성능에서 경쟁 가능한가?
• RQ4 개선된 이론적 성질에도 불구하고 새로운 점수는 계산 효율성을 유지하는가?
• RQ5 MU+BDs의 성능은 다양한 네트워크 구조(예: n/p = 0.1 대비 0.5)에서 어떻게 변화하는가?

주요 결과

• 소규모 표본 크기(n/p = 0.1 및 0.2)에서 모든 벤치마크 네트워크에서 MU+BDs는 U+BDeu보다 유의미하게 낮은 구조적 히민 거리(SHD)를 기록하여 더 높은 구조 학습 정확도를 입증한다.
• n/p = 0.1일 때 Hailfinder 네트워크에서 MU+BDs는 SHD를 U+BDeu의 5.31에서 4.20으로 1.11 감소시켰으며, 최고 성능을 보인 MU 변형(c=5)은 4.20의 SHD를 기록했다.
• n/p = 0.1일 때 Hepar2 네트워크에서 MU+BDs는 U+BDeu의 3.73에서 최고의 MU 변형으로 3.41로 SHD를 감소시켜 8.6% 향상된 성과를 보였다.
• 예측 성능 측면에서 MU+BDs는 항상 U+BDeu와 유사하거나 略적으로 높은 로그우도를 기록했으며, n/p = 0.5일 때 Hepar2에서 최고의 변형(c=5)은 3.30의 로그우도를 기록했고, U+BDeu는 3.31을 기록했다.
• MU+BDs 점수는 U+BDeu와 동일한 계산 복잡도를 유지하여 계산 효율성이 보장되며, 대규모 응용 분야에 실용적으로 적용 가능하다.
• 시뮬레이션 결과에 따르면 MU+BDs는 Water와 같은 희박한 네트워크부터 Alarm과 같은 복잡한 네트워크까지 다양한 네트워크 구조에서 모든 테스트된 데이터 환경에서 뛰어난 안정성을 보였다.