[논문 리뷰] An Empirical-Bayes Score for Discrete Bayesian Networks

Marco Scutari|arXiv (Cornell University)|2016. 05. 12.

Bayesian Modeling and Causal Inference참고 문헌 17인용 수 12

한 줄 요약

이 논문은 이산 베이지안 네트워크를 위한 새로운 경험 베이즈 점수를 제안하며, 간선 존재에 대한 균일한 마진널 분포(MU) 그래프 사전과 베이지안 딜레트 스파스(BDs) 마진널 우도를 조합하여 구조 학습과 예측 정확도를 향상시킨다. MU+BDs 점수는 계산 비용을 증가시키지 않으면서도 10개의 벤치마크 네트워크에서 DAG 복구 및 예측 성능 모두에서 표준 U+BDeu 방법을 능가한다.

ABSTRACT

Bayesian network structure learning is often performed in a Bayesian setting, by evaluating candidate structures using their posterior probabilities for a given data set. Score-based algorithms then use those posterior probabilities as an objective function and return the maximum a posteriori network as the learned model. For discrete Bayesian networks, the canonical choice for a posterior score is the Bayesian Dirichlet equivalent uniform (BDeu) marginal likelihood with a uniform (U) graph prior (Heckerman et al., 1995). Its favourable theoretical properties descend from assuming a uniform prior both on the space of the network structures and on the space of the parameters of the network. In this paper, we revisit the limitations of these assumptions; and we introduce an alternative set of assumptions and the resulting score: the Bayesian Dirichlet sparse (BDs) empirical Bayes marginal likelihood with a marginal uniform (MU) graph prior. We evaluate its performance in an extensive simulation study, showing that MU+BDs is more accurate than U+BDeu both in learning the structure of the network and in predicting new observations, while not being computationally more complex to estimate.

연구 동기 및 목표

• 이산 베이지안 네트워크 구조 학습에서 균일한(U) 사전과 베이지안 딜레트 등가 균일(BDeu) 점수의 한계를 해결한다.
• U+BDeu가 일관되지 않은 사전 가정으로 인해 불필요한 간선을 포함하는 경향을 극복한다.
• 계산 효율성을 유지하면서 학습 정확도와 예측 성능를 향상시키는 새로운 사후 점수를 개발한다.
• 계산 비용이 높거나 정확도를 희생하는 기존 점수들(예: BIC, NIP-BIC, 최적의 α-BDeu)에 대한 이론적으로 타당한 대안을 제공한다.
• 다양한 네트워크 유형과 표본 크기에서 새로운 점수 MU+BDs가 구조 복구 및 예측 로그우도 측면에서 뛰어나다는 것을 입증한다.

제안 방법

• 모든 DAG에 대해 균일한 사전을 가정하는 대신, 개별 간선 존재에 대한 균일한 마진널 분포를 가정하는 DAG 공간 상의 마진널 균일(MU) 사전을 제안한다.
• 지역 네트워크 구조에 기반하여 딜레트 사전 농도 매개변수를 조정함으로써 희소 구조를 선호하는 BDeu 점수의 재매개변수화로 베이지안 딜레트 스파스(BDs) 마진널 우도를 도입한다.
• MU 사전과 BDs 마진널 우도를 조합하여 분석적으로 다룰 수 있고 U+BDeu와 계산적으로 동일한 MU+BDs 점수를 구성한다.
• 데이터 기반의 농도 매개변수를 사용하여 BDs 점수를 경험 베이즈 추정으로 校정함으로써 희소 의존성에 대한 민감도를 향상시킨다.
• 표준 검색 알고리즘(예: 힐 클라이밍)을 사용하여 사후 점수를 최대화하는 점수 기반 구조 학습 프레임워크 내에 점수를 구현한다.
• 다양한 표본 크기와 희소성 수준에서 10개의 실제 베이지안 네트워크에 대한 광범위한 시뮬레이션 연구를 통해 방법을 검증한다.

실험 결과

연구 질문

• RQ1 제안된 MU+BDs 점수는 U+BDeu에 비해 학습된 베이지안 네트워크 구조의 정확도를 향상시키는가?
• RQ2 MU+BDs는 U+BDeu 및 BIC에 비해 미리 보지 않은 데이터에서 예측 성능을 향상시키는가?
• RQ3 MU+BDs의 계산 복잡도는 성능 향상에도 불구하고 U+BDeu와 유사한가?
• RQ4 MU+BDs는 NIP-BIC, NIP-BDe 또는 최적의 α-BDeu와 같은 고급 점수들과 비교해 정확도 및 효율성 측면에서 어떻게 성능을 내는가?
• RQ5 새로운 점수는 특히 낮은 표본 크기 환경에서 불필요한 간선의 포함을 효과적으로 줄이는가?

주요 결과

• MU+BDs는 10개의 벤치마크 네트워크 전반에서 U+BDeu보다 더 정확한 DAG 구조 학습을 달성했으며, 10개 중 7개에서 최고 점수를 기록했다.
• 예측 로그우도 평가에서 MU+BDs는 10개 네트워크 중 7개에서 평균 점수가 가장 낮았으며(더 낮은 값이 더 좋은 예측 정확도를 의미함), 가장 뛰어난 성능을 보였다.
• ALARM 네트워크에서 MU+BDs는 α=10일 때 예측 로그우도 1.51을 기록했고, U+BDeu는 1.67이었으며, 이는 뚜렷한 향상이다.
• ANDES 네트워크에서 MU+BDs는 α=10일 때 예측 로그우도 11.90을 기록했고, U+BDeu는 14.75였으며, 이는 예측 성능에서 19% 향상된 것이다.
• MU+BDs 점수는 U+BDeu와 동일한 계산 효율성을 유지하여 NIP-BIC나 최적의 α-BDeu와 같은 고비용 대안을 피했다.
• BIC는 10개 네트워크 중 3개에서 U+BDeu를 능가했지만, 나머지 7개에서는 MU+BDs가 모두 더 뛰어난 구조 학습 및 예측 성능을 보여 전체적으로 열등성을 넘어서는 것으로 나타났다.