[논문 리뷰] Being Bayesian about Network Structure

Nir Friedman, Daphne Koller|arXiv (Cornell University)|2013. 01. 16.

Bayesian Modeling and Causal Inference참고 문헌 16인용 수 267

한 줄 요약

이 논문은 변수 순서에 대한 마르코프 체인 몽테카를로(MCMC)를 수행하는 방식으로 베이지안 네트워크 구조 학습을 위한 새로운 베이지안 접근법을 제안한다. 각 순서에 대해 일치하는 네트워크의 지수적 합을 활용함으로써, 이 방법은 특징의 사후 확률을 효율적으로 계산하여 더 매끄러운 사후 분포 표면을 만들어내며, 합성 및 실재 데이터셋에서 기존의 구조 기반 MCMC와 비베이지안 부트스트래핑보다 뛰어난 성능을 보인다.

ABSTRACT

In many domains, we are interested in analyzing the structure of the underlying distribution, e.g., whether one variable is a direct parent of the other. Bayesian model-selection attempts to find the MAP model and use its structure to answer these questions. However, when the amount of available data is modest, there might be many models that have non-negligible posterior. Thus, we want compute the Bayesian posterior of a feature, i.e., the total posterior probability of all models that contain it. In this paper, we propose a new approach for this task. We first show how to efficiently compute a sum over the exponential number of networks that are consistent with a fixed ordering over network variables. This allows us to compute, for a given ordering, both the marginal probability of the data and the posterior of a feature. We then use this result as the basis for an algorithm that approximates the Bayesian posterior of a feature. Our approach uses a Markov Chain Monte Carlo (MCMC) method, but over orderings rather than over network structures. The space of orderings is much smaller and more regular than the space of structures, and has a smoother posterior `landscape'. We present empirical results on synthetic and real-life datasets that compare our approach to full model averaging (when possible), to MCMC over network structures, and to a non-Bayesian bootstrap approach.

연구 동기 및 목표

• 데이터가 제한적일 경우 베이지안 네트워크 구조 학습에서 모델 불확실성 문제를 해결하기 위해.
• 단일 MAP 모델에 의존하지 않고, 가능한 모든 모델을 고려하여 네트워크 특징(예: 간선)의 사후 확률을 계산하기 위해.
• 네트워크 구조의 공간에서 MCMC 샘플링을 변수 순서의 공간으로 이동시킴으로써 계산 효율성 향상과 사후 탐색 개선을 위해.
• 베이지안 네트워크에서 특징 포함 확률을 더 정확하고 강건하게 추정하기 위해.

제안 방법

• 고정된 변수 순서에 대해 일치하는 모든 네트워크의 합을 동적 프로그래밍을 사용하여 효율적으로 처리함으로써, 데이터의 주변 가능도와 특징 사후 확률을 계산한다.
• 각 순서가 일련의 DAG(유ERIC 방향 비순환 그래프)를 유도한다는 사실을 활용하여, 주어진 순서에 대해 이러한 모든 DAG의 사후 확률 합을 계산한다.
• 핵심 알고리즘은 변수 순서의 공간을 탐색하기 위해 MCMC를 사용하며, 국소 교환을 통해 새로운 순서를 제안하고 사후 비율에 따라 수락/기각한다.
• 특징(예: 간선)의 사후 확률은 모든 샘플된 순서에 대한 기여를 그들의 사후 확률에 가중치를 두어 집계함으로써 추정된다.
• 전체 네트워크 구조의 고차원적이고 비정규적인 사후 분포 표면을 피하기 위해, 순서 공간의 규칙성과 더 작은 크기를 활용한다.
• 모든 가능한 네트워크에 대한 완전한 모델 평균화가 필요 없이도 특징 사후 확률을 효율적으로 계산할 수 있다.

실험 결과

연구 질문

• RQ1 제한된 데이터로 인해 여러 네트워크 구조가 타당할 경우, 네트워크 특징(예: 간선)의 사후 확률을 효율적으로 계산하는 방법은 무엇인가?
• RQ2 변수 순서에 대한 MCMC 샘플링이 네트워크 구조에 대한 샘플링보다 더 효과적이고 매끄러운 사후 분포 탐색을 가능하게 하는가?
• RQ3 베이지안 네트워크 구조 학습에서 순서를 MCMC 상태 공간으로 사용할 경우의 계산적 및 통계적 이점은 무엇인가?
• RQ4 전체 모델 평균화와 비베이지안 부트스트래핑 방법과 비교할 때, 제안된 방법의 정확성과 효율성은 어떻게 되는가?
• RQ5 가능한 네트워크 구조의 수가 지수적으로 많을 경우에도 이 방법은 특징 포함 확률을 신뢰성 있게 추정할 수 있는가?

주요 결과

• 제안된 방법은 특히 데이터가 적은 환경에서 비베이지안 부트스트래핑 방법보다 특징 사후 확률 추정에 있어 뚜렷이 뛰어난 성능을 보인다.
• 순서에 대한 샘플링은 네트워크 구조에 대한 샘플링보다 더 매끄러운 사후 분포 표면을 만들어내며, 더 빠른 믹싱과 더 신뢰할 수 있는 MCMC 수렴을 이끈다.
• 계산이 가능할 경우 전체 모델 평균화 결과와 매우 유사한 정확한 특징 사후 확률 추정을 제공한다.
• 합성 및 실세계 데이터셋에 대한 실증 평가 결과, 정확성과 계산 효율성 측면에서 기존의 구조 기반 MCMC보다 성능이 뛰어나다.
• MCMC 상태 공간으로서의 순서 사용은 차원 수와 불규칙성을 감소시켜 사후 분포의 효과적인 탐색을 가능하게 한다.
• 모든 가능한 네트워크의 열거가 필요 없이도 특징 사후 확률을 성공적으로 계산할 수 있어, 중간 크기의 네트워크에 대해 확장 가능하다.