[논문 리뷰] Learning Big Gaussian Bayesian Networks: Partition, Estimation and Fusion

Jiaying Gu, Qing Zhou|arXiv (Cornell University)|2020. 01. 01.

Bayesian Modeling and Causal Inference인용 수 3

한 줄 요약

이 논문은 수천 개의 노드와 제한된 샘플을 가진 대규모 가우시안 베이지안 네트워크에서 학습하기 위해 새로운 분할-통합 프레임워크인 Partition-Estimation-Fusion (PEF)을 제안한다. 노드를 군집화하고, 각 군집에서 국소적 구조를 독립적으로 학습하며, 하이브리드 간선 추가 전략을 통해 부분 그래프를 융합함으로써, 기존 방법 대비 정확도를 20퍼센트 이상 향상시키고 런타임을 최대 두 개의 지수 차수만큼 감소시킨다.

ABSTRACT

Structure learning of Bayesian networks has always been a challenging problem. Nowadays, massive-size networks with thousands or more of nodes but fewer samples frequently appear in many areas. We develop a divide-and-conquer framework, called partition-estimation-fusion (PEF), for structure learning of such big networks. The proposed method first partitions nodes into clusters, then learns a subgraph on each cluster of nodes, and finally fuses all learned subgraphs into one Bayesian network. The PEF method is designed in a flexible way so that any structure learning method may be used in the second step to learn a subgraph structure as either a DAG or a CPDAG. In the clustering step, we adapt the hierarchical clustering method to automatically choose a proper number of clusters. In the fusion step, we propose a novel hybrid method that sequentially add edges between subgraphs. Extensive numerical experiments demonstrate the competitive performance of our PEF method, in terms of both speed and accuracy compared to existing methods. Our method can improve the accuracy of structure learning by 20% or more, while reducing running time up to two orders-of-magnitude.

연구 동기 및 목표

• 수천 개의 노드를 가진 거대한 네트워크에서 제한된 샘플로 베이지안 네트워크의 구조 학습 문제를 해결한다.
• 빅데이터에서 기존의 구조 학습 방법의 계산 및 통계적 한계를 극복한다.
• 정확도를 유지하면서 런타임을 크게 줄이는 유연하고 확장 가능한 프레임워크를 개발한다.
• 국소적 부분 그래프의 구조를 글로벌하게 일관된 베이지안 네트워크에 효과적으로 통합할 수 있도록 한다.

제안 방법

• 최적의 군집 수를 자동으로 결정할 수 있도록 수정된 계층적 군집화 방법을 사용해 노드를 군집화한다.
• 각 군집에 대해 기존의 어떤 구조 학습 알고리즘을 적용하여 국소적 부분 그래프를 학습하며, DAG 및 CPDAG 출력을 모두 지원한다.
• 통계 기준에 기반해 순차적으로 상호 군집 간 간선을 추가함으로써 부분 그래프를 융합하는 새로운 하이브리드 융합 전략을 사용한다.
• 추정 단계에서 다양한 구조 학습 방법을 통합할 수 있도록 하는 민첩한 설계를 활용한다.
• 간선 추가 과정에서 조건부 이상성 테스트와 점수 기반 기준을 활용해 간선 추가를 안내한다.
• 융합 과정에서 사이클을 방지함으로써 최종 네트워크가 유효한 DAG임을 보장한다.

실험 결과

연구 질문

• RQ1 분할-통합 접근 방식이 대규모 가우시안 베이지안 네트워크에서의 구조 학습 확장성에 크게 기여할 수 있는가?
• RQ2 빅 네트워크에서 국소 정확도와 글로벌 일관성을 균형 있게 유지하기 위해 군집화를 어떻게 적응적으로 수행할 수 있는가?
• RQ3 정확도와 속도 측면에서 표준 융합 또는 직접 학습 대비 하이브리드 융합 방법이 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 표본 수가 네트워크 크기 대비 작을 경우 PEF 프레임워크가 학습 정확도에 어떤 영향을 미치는가?

주요 결과

• PEF 프레임워크는 대규모 네트워크에서 기준 방법 대비 구조 학습 정확도를 20퍼센트 이상 향상시킨다.
• 이 방법은 런타임을 최대 두 개의 지수 차수만큼 감소시켜 수천 개의 노드를 가진 네트워크에서도 효율적인 학습을 가능하게 한다.
• 적응형 군집화 단계는 사전 지식이 없이도 최적의 군집 수를 성공적으로 결정한다.
• 하이브리드 융합 전략은 사이클을 유지하면서도 구조적 충실도를 유지한 채 부분 그래프를 효과적으로 융합한다.
• 프레임워크는 다양한 구조 학습 알고리즘과 호환되어 실용적 적용 가능성을 높인다.
• 실험 결과는 다양한 네트워크 크기와 샘플 조건에서 일관된 성능 향상을 보였다.