[논문 리뷰] Structure Variability in Bayesian Networks

Marco Scutari|arXiv (Cornell University)|2009. 09. 09.

Bayesian Modeling and Causal Inference참고 문헌 23인용 수 4

한 줄 요약

이 논문은 이원분포 랜덤 변수로 모델링된 무방향 스케일레톤을 통해 베이지안 네트워크의 구조 변동성에 대한 통계적 프레임워크를 제안한다. 간선 존재에 대한 파arametric 및 몬테카를로 검정을 사용하여 네트워크 구조 안정성에 대한 정확한 및 渐近적 추론이 가능하며, 간선과 하위 구조에 대한 신뢰도 측정치를 제공한다. 주요 결과로는 최대 엔트로피 가정 하에 간선의 독립성과 분산 한계가 성립함을 보여준다.

ABSTRACT

The structure of a Bayesian network encodes most of the information about the probability distribution of the data, which is uniquely identified given some general distributional assumptions. Therefore it's important to study the variability of its network structure, which can be used to compare the performance of different learning algorithms and to measure the strength of any arbitrary subset of arcs. In this paper we will introduce some descriptive statistics and the corresponding parametric and Monte Carlo tests on the undirected graph underlying the structure of a Bayesian network, modeled as a multivariate Bernoulli random variable.

연구 동기 및 목표

• 실제 데이터에서 참 구조가 알려져 있지 않은 점을 감안해, 베이지안 네트워크의 구조에 대한 신뢰할 수 있는 신뢰도 측정치가 부족한 문제를 해결하기 위해.
• 학습 알고리즘에 특화된 네트워크 구조의 변동성을 정량화하기 위한 원리적인 통계적 접근법을 개발하기 위해.
• 파arametric 및 몬테카를로 검정을 활용하여 간선 존재와 하위 구조 안정성에 대한 추론을 가능하게 하기 위해.
• 다변량 이원분포 모델 하에서 네트워크 구조 변동성에 대한 정확한 및 渐近적 통계적 검정을 제공하기 위해.
• empirical 부트스트랩 확률의 한계를 극복하기 위해 분석적으로 근거가 있는 유의수준을 도출하기 위해.

제안 방법

• 베이지안 네트워크의 무방향 그래프 구조를 각 성분이 간선의 존재(1) 또는 부재(0)를 나타내는 다변량 이원분포 랜덤 벡터로 모델링한다.
• 모수로 간선 발생의 주변확률 및 결합확률을 정의하고, 일차 및 이차 모멘트를 일차 및 이차 통계량에서 유도한다.
• 공분산 행렬의 분산, 일반화된 분산, 프로베니우스 노름을 기반으로 한 구조 변동성에 대한 정확한 및 渐近적 검정 통계량을 유도한다.
• 알려진 공분산 구조를 사용한 파라메트릭 부트스트랩을 적용하여 간선 구성에 대한 귀무가설에 대한 p-값을 계산한다.
• 몬테카를로 시뮬레이션을 통해 간선 독립성의 귀무가설 하에서 검정 통계량의 표본분포를 추정한다.
• 유한표본 편향 보정을 고려한 카이제곱 및 감마 분포를 사용하여 분산 기반 검정 통계량에 대한 유의수준 검정을 구현한다.

실험 결과

연구 질문

• RQ1 부트스트랩 표본 간에 베이지안 네트워크의 구조 변동성을 어떻게 공식적으로 측정할 수 있는가?
• RQ2 베이지안 네트워크에서 개별 간선 또는 하위 구조의 유의성을 평가하기 위해 유도할 수 있는 통계적 검정은 무엇인가?
• RQ3 베이지안 네트워크의 구조에서 부트스트랩 분포에서 간선이 어떤 조건에서 상호 독립적으로 행동하는가?
• RQ4 총 분산 및 일반화된 분산과 같은 수준의 구조 변동성 측정치의 정확한 및 渐近적 분포는 무엇인가?
• RQ5 부트스트랩 기반의 신뢰도 추정치를 어떻게 校정하여 데이터 의존적 임계값 문제를 피할 수 있는가?

주요 결과

• 다변량 이원분포 모델은 베이지안 네트워크 스케일레톤의 간선 존재의 결합분포를 정확히 포괄하여 공식적인 통계적 추론을 가능하게 한다.
• 최대 엔트로피 조건 하에서 모든 간선은 상관이 없으며, 각 간선의 주변확률은 1/2, 임의의 두 개의 서로 다른 간선에 대해 결합확률은 1/4이다.
• 모든 간선이 동일한 확률로 존재할 경우 간선 존재 벡터의 총 분산은 $ k^3/16 $로 최대가 되며, 이는 최대 엔트로피에 해당한다.
• 최대 엔트로피 조건 하에서 공분산 행렬의 분산은 $ k(k-1)^2/16 $이며, 이는 구조 변동성에 대한 이론적 한계를 제공한다.
• 파라메트릭 부트스트랩 시뮬레이션 결과, 분산 및 프로베니우스 노름 기반의 검정 통계량은 신뢰도 검정에 유효한 p-값을 제공한다.
• 카이제곱 및 감마 분포를 사용한 渐近적 추론은 표본 크기가 클수록 검정 통계량에 대해 정확한 근사치를 제공한다.