[논문 리뷰] Bayesian Dirichlet Bayesian Network Scores and the Maximum Entropy Principle

Marco Scutari|arXiv (Cornell University)|2017. 08. 02.

Bayesian Modeling and Causal Inference인용 수 1

한 줄 요약

이 논문은 베이지안 네트워크 구조 학습을 위한 베이지안 딜리트 등가 균일(Bayesian Dirichlet equivalent uniform, BDeu) 점수를 비판하며, 최대 상대 엔트로피 원리 위반과 초모수 민감성으로 인해 신뢰할 수 없는 베이즈 요인을 초래함을 입증한다. 이를 바탕으로 BDeu의 결함을 피하고 엔트로피 원리와 일치하는 더 나은 사전 분포를 가진 베이지안 딜리트 스파스(Bayesian Dirichlet sparse, BDs) 점수를 제안한다.

ABSTRACT

A classic approach for learning Bayesian networks from data is to identify a maximum a posteriori (MAP) network structure. In the case of discrete Bayesian networks, MAP networks are selected by maximising one of several possible Bayesian Dirichlet (BD) scores; the most famous is the Bayesian Dirichlet equivalent uniform (BDeu) score from Heckerman et al (1995). The key properties of BDeu arise from its uniform prior over the parameters of each local distribution in the network, which makes structure learning computationally efficient; it does not require the elicitation of prior knowledge from experts; and it satisfies score equivalence. In this paper we will review the derivation and the properties of BD scores, and of BDeu in particular, and we will link them to the corresponding entropy estimates to study them from an information theoretic perspective. To this end, we will work in the context of the foundational work of Giffin and Caticha (2007), who showed that Bayesian inference can be framed as a particular case of the maximum relative entropy principle. We will use this connection to show that BDeu should not be used for structure learning from sparse data, since it violates the maximum relative entropy principle; and that it is also problematic from a more classic Bayesian model selection perspective, because it produces Bayes factors that are sensitive to the value of its only hyperparameter. Using a large simulation study, we found in our previous work (Scutari, 2016) that the Bayesian Dirichlet sparse (BDs) score seems to provide better accuracy in structure learning; in this paper we further show that BDs does not suffer from the issues above, and we recommend to use it for sparse data instead of BDeu. Finally, will show that these issues are in fact different aspects of the same problem and a consequence of the distributional assumptions of the prior.

연구 동기 및 목표

• 정보 이론적 관점에서 베이지안 딜리트(BD) 점수, 특히 BDeu의 이론적 기초를 검토하기 위해.
• BDeu가 희박한 데이터 상황에서 성능이 열 劣하는 이유를 최대 상대 엔트로피 원리와 연결하여 조사하기 위해.
• BDeu의 사전 분포에서 발생하는 핵심 문제를 규명하여 신뢰할 수 없는 구조 학습과 민감한 베이즈 요인을 초래함을 밝히기 위해.
• 베이지안 딜리트 스파스(BDs) 점수가 이러한 문제를 피하고 희박한 데이터 환경에서 더 우수한 성능을 보임을 입증하기 위해.
• BDeu의 문제들을 하나의 근본 원인으로 통합하기 위해: 사전의 분포 가정이 잘못되어 있음.

제안 방법

• Giffin과 Caticha(2007)의 프레임워크를 활용하여 베이지안 추론과 최대 상대 엔트로피 원리 간의 연결 고리를 분석함.
• BD 점수와 엔트로피 추정치 간의 관계를 유도하여, BDeu의 균일한 사전 분포가 엔트로피의 일관성 없음을 보여줌.
• BDeu의 단일 초모수에 대한 베이즈 요인의 민감도를 분석하여 모델 선택의 불안정성을 드러냄.
• 이전 연구(Scutari, 2016)의 이론적 분석 및 시뮬레이션 결과를 사용하여 BDeu와 BDs를 비교함.
• BDs가 엔트로피 제약 조건을 충족하고 BDeu의 결함을 피함을 보여주어 원칙적인 대안으로 제안함.
• 핵심 문제의 근본 원인이 점수 계산 자체가 아니라 사전의 분포 가정에 있음을 규명함.

실험 결과

연구 질문

• RQ1 BDeu 점수는 희박한 데이터 환경에서 최대 상대 엔트로피 원리를 만족하는가?
• RQ2 BDeu의 베이즈 요인이 초모수에 민감한 것은 어떤 방식으로 구조 학습의 신뢰성에 영향을 미치는가?
• RQ3 정보 이론적 관점에서 BDeu가 희박한 데이터 설정에서 실패하는 이유는 무엇인가?
• RQ4 BDs 점수가 이론적 및 경험적으로 BDeu보다 뛰어나다는 것을 입증할 수 있는가?
• RQ5 BDeu의 실패는 그 사전 분포 가정과 관련된 단일한 근본 원인에 기인하는가?

주요 결과

• BDeu 점수는 국소 분포에 대한 균일한 사전 분포로 인해, 특히 희박한 데이터에서 최대 상대 엔트로피 원리 위반을 일으킴.
• BDeu는 초모수 민감도로 인해 매우 민감한 베이즈 요인을 생성하여 모델 선택의 신뢰성을 해침.
• BDs 점수는 엔트로피 원리와 더 잘 일치하고 희박한 데이터에 적합한 사전 분포를 가짐으로써 이러한 문제를 겪지 않음.
• BDeu의 문제들은 모두 사전의 분포 가정이 잘못되어 엔트로피 추정치의 일관성 없음을 초래함으로써 기인함.
• Scutari(2016)의 시뮬레이션 결과는 데이터 희박성 하에서 BDs가 BDeu보다 더 정확한 구조 학습 성능을 보임을 지지함.
• BDeu의 모든 식별된 결함들은 하나의 원인으로 통합됨: 사전이 엔트로피 최대화 원리와 호환되지 않음.