[논문 리뷰] Improving the Scalability of Optimal Bayesian Network Learning with External-Memory Frontier Breadth-First Branch and Bound Search

Brandon Malone, Changhe Yuan외 2명|arXiv (Cornell University)|2012. 02. 14.

Bayesian Modeling and Causal Inference참고 문헌 19인용 수 9

한 줄 요약

이 논문은 주 메모리 한계를 초월해 최적의 베이지안 네트워크 구조 학습을 스케일링하기 위해 외부 메모리 프론티어 너비 우선 분기 및 경계(프론티어 BFSB) 검색 알고리즘을 제안한다. 검색 그래프의 두 레이어만 램에 저장하고 나머지는 디스크 기반 저장소에 보관함으로써 이 방법은 확장성을 크게 향상시키며, A*-기반 방법을 사용한 이전 최첨단 기술들보다 더 큰 문제를 해결할 수 있다.

ABSTRACT

Previous work has shown that the problem of learning the optimal structure of a Bayesian network can be formulated as a shortest path finding problem in a graph and solved using A* search. In this paper, we improve the scalability of this approach by developing a memory-efficient heuristic search algorithm for learning the structure of a Bayesian network. Instead of using A*, we propose a frontier breadth-first branch and bound search that leverages the layered structure of the search graph of this problem so that no more than two layers of the graph, plus solution reconstruction information, need to be stored in memory at a time. To further improve scalability, the algorithm stores most of the graph in external memory, such as hard disk, when it does not fit in RAM. Experimental results show that the resulting algorithm solves significantly larger problems than the current state of the art.

연구 동기 및 목표

• 높은 메모리 요구량으로 인해 최적의 베이지안 네트워크 구조 학습의 확장성에 한계가 존재하는 문제를 해결하기 위해.
• 베이지안 네트워크 구조 학습을 위한 휴리스틱 검색에서 주 메모리 사용량을 줄이기 위해.
• 대부분의 검색 그래프를 외부 메모리로 오프로드하여 더 큰 베이지안 네트워크 학습 문제를 해결할 수 있도록 하기 위해.
• 메모리 인식 검색 설계를 통해 계산 효율성을 향상시키면서도 최적성을 유지하기 위해.

제안 방법

• 베이지안 네트워크 검색 그래프의 계층적 구조를 활용하는 프론티어 너비 우선 분기 및 경계(FBFB) 검색을 제안한다.
• 모든 시점에서 주 메모리 사용을 그래프의 두 레이어와 해답 재구성 데이터뿐이 되도록 제한한다.
• RAM 용량을 초과할 경우 검색 그래프의 대부분을 외부 메모리(예: 하드디스크)에 저장한다.
• 프론티어 노드를 우선순위로 삼고 열열하지 않는 경로를 잘라내는 메모리 효율적인 탐색 전략을 구현한다.
• 검색을 이끌고 비최적 경로를 조기에 제한하기 위해 휴리스틱 함수를 통합한다.
• 현재 및 이전 레이어에만 경로 정보를 유지함으로써 해답 재구성 기능을 지원한다.

실험 결과

연구 질문

• RQ1 메모리 효율적인 검색 전략이 주 메모리 한계를 초월해 최적의 베이지안 네트워크 구조 학습을 스케일링할 수 있는가?
• RQ2 메모리 사용량과 확장성 측면에서 프론티어 너비 우선 분기 및 경계는 A*와 어떻게 비교되는가?
• RQ3 성능 저하 없이 외부 메모리를 얼마나 넓게 활용하여 큰 부분의 검색 그래프를 저장할 수 있는가?
• RQ4 기존 최첨단 기술들과 비교해 이 방법으로 도달할 수 있는 최대 문제 크기는 얼마인가?

주요 결과

• 제안된 외부 메모리 기반 FBFB 알고리즘은 현재 최첨단 기술보다 훨씬 큰 베이지안 네트워크 구조 학습 문제를 해결할 수 있다.
• 이 방법은 주 메모리 사용량을 검색 그래프의 두 레이어로만 제한하여 RAM 제약을 초월한 확장성을 달성한다.
• 대부분의 그래프를 외부 저장소로 오프로드함으로써 최적성을 유지하면서도 확장성을 향상시킨다.
• 실험 결과는 이 방법이 이전에는 A*-기반 방법으로는 비가능했던 문제 인스턴스까지 스케일링할 수 있음을 보여준다.