[논문 리뷰] A Theoretical Analysis of the BDeu Scores in Bayesian Network Structure Learning

Joe Suzuki|arXiv (Cornell University)|2016. 07. 15.

Bayesian Modeling and Causal Inference참고 문헌 13인용 수 5

한 줄 요약

이 논문은 베이지안 네트워크 구조 학습에서 BDeu 점수의 이론적 분석을 제공하며, 모델 선택의 기본적인 규칙성을 위반함을 입증한다: 더 단순한 모델이 데이터를 완벽히 설명할 때조차도(즉, 조건부 엔트로피가 0일 때) 더 복잡한 구조를 선호할 수 있다. BDeu 점수의 기본적인 사전 가정이 직관적인 단순성과 적합성의 균형 원칙을 위반하는 비직관적인 행동을 유도한다.

ABSTRACT

In Bayesian network structure learning (BNSL), we need the prior probability over structures and parameters. If the former is the uniform distribution, the latter determines the correctness of BNSL. In this paper, we compare BDeu (Bayesian Dirichlet equivalent uniform) and Jeffreys' prior w.r.t. their consistency. When we seek a parent set $U$ of a variable $X$, we require regularity that if $H(X|U)\leq H(X|U')$ and $U\subsetneq U'$, then $U$ should be chosen rather than $U'$. We prove that the BDeu scores violate the property and cause fatal situations in BNSL. This is because for the BDeu scores, for any sample size $n$,there exists a probability in the form $P(X,Y,Z)={P(XZ)P(YZ)}/{P(Z)}$ such that the probability of deciding that $X$ and $Y$ are not conditionally independent given $Z$ is more than a half. For Jeffreys' prior, the false-positive probability uniformly converges to zero without depending on any parameter values, and no such an inconvenience occurs.

연구 동기 및 목표

• 베이지안 네트워크 구조 학습(BNSL)에서 BDeu 점수의 이론적 성질을 조사하며, 특히 다양한 표본 크기와 매개변수 사전 분포에서의 행동을 다룬다.
• BDeu 점수가 단순성과 적합성 측면에서 더 우수한 모델이 모델 선택에서 우선시되어야 한다는 원칙을 충족하는지 확인한다.
• BNSL에서 일관성과 이론적 타당성 측면에서 BDeu 점수와 제프레이라는 사전(BD 점수)을 비교한다.
• BDeu 점수의 근본적인 결함을 폭 드러내며: 조건부 엔트로피가 0일 때조차도 더 복잡한 부모 집합을 잘못 선호할 수 있다. 이는 모델 선택의 직관을 훼손한다.

제안 방법

• 다양한 부모 집합에 대해 주변 가능도(log-score)의 渐近 전개를 사용한 BDeu 점수의 이론적 분석을 통해, 추가 부모가 있는 구조와 없는 구조의 점수를 비교한다.
• BDeu와 제프레이라는 사전의 음의 로그 점수 표현을 유도하며, 감마 함수, 표본 수, 등가 표본 크기 δ를 포함한 항들을 포함한다.
• 귀납법을 사용하여 제프레이라는 사전의 경우, 독립 변수들의 주변 점수 곱이 항상 공동 점수보다 크거나 같음을 증명함으로써, 모델 선택 규칙성과의 일관성을 확보한다.
• 귀납법을 사용하여 BDeu가 δ > 0일 때 특정 조건 하에서 공동 점수가 주변 점수 곱보다 엄격히 작아지며, 이는 규칙성 조건을 위반함을 증명한다.
• 표본 크기 n이 증가함에 따라 BDeu 점수의 渐近 행동을 분석하여, 점근적으로 일관성은 유지되지만 균일 일관성은 확보되지 않음을 보여준다.
• 감마 함수 부등식을 사용한 수학적 비교를 통해 BDeu와 제프레이라는 사전 점수를 비교함으로써, BDeu에서 규칙성 조건 위반이 발생함을 입증한다.

실험 결과

연구 질문

• RQ1 BDeu 점수가 모델 선택에서 규칙성 조건을 충족하는가? 즉, 더 정확하고 더 단순한 모델이 항상 우선시되어야 한다.
• RQ2 어떤 변수의 조건부 엔트로피가 그 부모 집합에 대해 0일 때 BDeu 점수는 어떻게 행동하는가? 이는 완벽한 적합성을 의미한다.
• RQ3 왜 BDeu 점수는 더 복잡한 구조를 더 단순하고 완벽하게 적합하는 구조보다 선호하는 비직관적인 모델 선택 결과를 낳는가?
• RQ4 BDeu 점수는 일관성과 모델 선택 원칙 준수 측면에서 제프레이라는 사전과 이론적으로 어떻게 비교될 수 있는가?
• RQ5 BDeu가 등가 표본 크기 δ의 선택에 민감한 이론적 근거는 무엇이며, 이는 더 깊은 일관성의 결함에서 기인하는가?

주요 결과

• BDeu 점수는 모델 선택의 규칙성 조건을 위반한다: 더 단순한 부모 집합이 데이터를 완벽히 설명할 때조차도(조건부 엔트로피 = 0) BDeu 점수는 더 큰, 더 복잡한 부모 집합을 선호할 수 있다.
• 제프레이라는 사전(BD 점수)의 경우, 독립 변수들의 주변 점수 곱은 항상 공동 점수보다 크거나 같으며, 이는 모델 선택 직관과의 일관성을 보장한다.
• 반면, δ > 0일 때 BDeu 점수의 경우 n ≥ 2일 때 주변 점수 곱이 공동 점수보다 엄격히 작아지며, 이는 규칙성 조건을 위반한다.
• 이 위반은 등가 표본 크기 δ가 모든 구성에 균일하게 분포된다는 BDeu의 사전 가정에서 기인하며, 이는 모델 복잡성에 대한 일관되지 않은 페널티를 초래한다.
• BDeu 점수의 일관성 결함은 표본 크기 때문이 아니라, 모델 적합성과 단순성의 직관적 균형을 위반하는 그 자체의 사전 구조에서 기인한다.
• 비록 BDeu가 점근적으로 일관성은 유지된다(즉, 고정된 BN에 대해 n → ∞일 때 올바른 구조가 회복됨), 그러나 균일 일관성은 확보되지 않아, 일부 CI 관계는 큰 n에서도 탐지되지 않을 수 있다.