[논문 리뷰] Pruning Bayesian Networks for Efficient Computation

Michelle Baker, Terrance E. Boult|arXiv (Cornell University)|2013. 03. 27.

Bayesian Modeling and Causal Inference인용 수 31

한 줄 요약

이 논문은 특정 변수에 대한 질의를 계산하는 데 관여하지 않는 관련 없는 하위구조를 제거함으로써 베이지안 네트워크를 사전 처리하는 기법을 제안한다. 이는 결과에 영향을 주지 않으면서 계산 복잡도를 감소시키는 것이다. 원래의 베이지안 네트워크에서 간선 수 e에 대해 O(e) 시간 내에 최소한의 계산적으로 동치인 부분그래프를 구성함으로써, 효율적인 추론과 병렬 처리를 가능하게 하며, 최소성에 대한 이론적 증명과 비단일 연결 네트워크에서의 실용적 절감 효과를 보인다.

ABSTRACT

This paper analyzes the circumstances under which Bayesian networks can be pruned in order to reduce computational complexity without altering the computation for variables of interest. Given a problem instance which consists of a query and evidence for a set of nodes in the network, it is possible to delete portions of the network which do not participate in the computation for the query. Savings in computational complexity can be large when the original network is not singly connected. Results analogous to those described in this paper have been derived before [Geiger, Verma, and Pearl 89, Shachter 88] but the implications for reducing complexity of the computations in Bayesian networks have not been stated explicitly. We show how a preprocessing step can be used to prune a Bayesian network prior to using standard algorithms to solve a given problem instance. We also show how our results can be used in a parallel distributed implementation in order to achieve greater savings. We define a computationally equivalent subgraph of a Bayesian network. The algorithm developed in [Geiger, Verma, and Pearl 89] is modified to construct the subgraphs described in this paper with O(e) complexity, where e is the number of edges in the Bayesian network. Finally, we define a minimal computationally equivalent subgraph and prove that the subgraphs described are minimal.

연구 동기 및 목표

• 질의를 계산하는 데 기여하지 않는 네트워크 구성요소를 식별하고 제거하기.
• 특히 비단일 연결 네트워크에서 베이지안 네트워크 추론의 계산 복잡도를 감소시키기.
• 표준 추론 알고리즘의 실행 속도 향상을 위해 빠른 실행을 가능하게 하는 사전 처리 단계 개발하기.
• 독립된 부분네트워크를 고립시킴으로써 병렬 및 분산 구현 지원하기.
• 최소성의 형식적 정의 및 결과로 도출된 계산적으로 동치인 부분그래프의 최소성 증명하기.

제안 방법

• 질의 변수에 대해 증거가 주어진 상황에서 d-분리되는 모든 노드와 간선을 식별하고, 향후 계산에서 제외한다.
• Geiger, Verma, and Pearl (1989)의 알고리즘을 수정하여 최소한의 계산적으로 동치인 부분그래프를 구성한다.
• 정리 과정은 원래의 베이지안 네트워크의 간선 수 e에 대해 O(e) 시간 내에 수행된다.
• 결과로 도출된 부분그래프는 질의 및 증거와 관련된 모든 조건부 확률 계산을 보존함이 보장된다.
• 독립된 부분네트워크를 고립시킴으로써 병렬 분산 계산을 지원한다.
• 최소한의 계산적으로 동치인 부분그래프를 정의하고, 형식적 분석을 통해 그 최소성의 증명을 한다.

실험 결과

연구 질문

• RQ1 주어진 변수 집합과 증거에 대해 질의 결과에 영향을 주지 않는 베이지안 네트워크의 일부를 안전하게 제거할 수 있는 조건은 무엇인가?
• RQ2 질의 결과의 정확성을 유지하면서 베이지안 네트워크를 사전 처리하여 계산 복잡도를 감소시킬 수 있는 방법은 무엇인가?
• RQ3 원래 네트워크와 동일한 추론을 지원하는 최소 부분그래프를 구성하는 데 필요한 계산 복잡도는 무엇인가?
• RQ4 정리 방법이 병렬 또는 분산 컴퓨팅 환경에서 효과적으로 적용되어 성능 향상을 이룰 수 있는가?
• RQ5 결과로 도출된 부분그래프는 질의 계산을 유지하기 위해 필요한 최소한의 노드와 간선 수로 최소화되어 있는가?

주요 결과

• 제안된 정리 기법은 O(e) 시간 내에 계산적으로 동치인 부분그래프를 구성하여 사전 처리 오버헤드를 크게 감소시킨다.
• 결과로 도출된 부분그래프는 최소임이 증명되어 있어, 질의 결과를 변경하지 않으면서도 더 이상 간선이나 노드를 제거할 수 없다.
• 특히 재귀적 중복성이 높은 비단일 연결 베이지안 네트워크에서 상당한 계산 절감 효과를 얻을 수 있다.
• 독립된 부분네트워크를 고립시킴으로써 효율적인 병렬 및 분산 추론을 가능하게 한다.
• Geiger 등 (1989)의 이전 연구를 일반화하며, 실용적 추론 작업에서 복잡도 감소와의 직접적인 연관성을 명시적으로 제시한다.