[논문 리뷰] Ordering-Based Search: A Simple and Effective Algorithm for Learning Bayesian Networks

Marc Teyssier, Daphne Koller|arXiv (Cornell University)|2012. 07. 04.

Bayesian Modeling and Causal Inference참고 문헌 20인용 수 180

한 줄 요약

이 논문은 데이터로부터 베이지안 네트워크 구조를 학습하기 위한 단순하면서도 효과적인 알고리즘인 순서 기반 탐색(Ordering-Based Search, OBS)을 제안한다. 네트워크 구조의 광범위한 공간을 탐색하는 대신 OBS는 노드 순서를 탐색하여 각 순서에 대해 최적의 네트워크를 효율적으로 찾는다. 이로 인해 표준 탐색 금지 목록을 사용하는 탐욕적 오르막 탐색보다 빠른 수렴 속도와 뛰어난 성능을 달성하며, 복잡한 대안들보다 훨씬 간편하게 구현할 수 있다.

ABSTRACT

One of the basic tasks for Bayesian networks (BNs) is that of learning a network structure from data. The BN-learning problem is NP-hard, so the standard solution is heuristic search. Many approaches have been proposed for this task, but only a very small number outperform the baseline of greedy hill-climbing with tabu lists; moreover, many of the proposed algorithms are quite complex and hard to implement. In this paper, we propose a very simple and easy-to-implement method for addressing this task. Our approach is based on the well-known fact that the best network (of bounded in-degree) consistent with a given node ordering can be found very efficiently. We therefore propose a search not over the space of structures, but over the space of orderings, selecting for each ordering the best network consistent with it. This search space is much smaller, makes more global search steps, has a lower branching factor, and avoids costly acyclicity checks. We present results for this algorithm on both synthetic and real data sets, evaluating both the score of the network found and in the running time. We show that ordering-based search outperforms the standard baseline, and is competitive with recent algorithms that are much harder to implement.

연구 동기 및 목표

• 효율적이고 구현이 쉬운 방법을 통해 NP-난이도 문제인 베이지안 네트워크 구조 학습 문제를 해결하기 위해.
• 네트워크 구조의 탐색 공간을 노드 순서로 이동시켜 계산 복잡도를 감소시키기 위해.
• 주어진 순서에 대해 최적의 네트워크를 신속하게 계산할 수 있고 항상 비순환적임을 활용하여 탐색 효율성을 향상시키기 위해.
• 탐색 금지 목록을 사용하는 기준 탐욕적 오르막 탐색보다 더 뛰어난 점수와 런타임 성능을 달성하기 위해.
• 성능을 희생시키지 않고도 복잡하고 구현이 어려운 알고리즘들에 대한 경쟁 가능한 대안을 제공하기 위해.

제안 방법

• 알고리즘은 가능한 노드 순서의 공간을 탐색하는 방식으로, 모든 가능한 베이지안 네트워크 구조의 공간을 탐색하지 않는다.
• 각 후보 순서에 대해 동적 프로그래밍 기법을 사용하여 그 순서와 일관된 최적의 베이지안 네트워크 구조를 계산한다.
• 탐색은 탐욕적 오르막 탐색 전략을 사용하여 매 단계에서 가장 우수한 성능을 보이는 순서를 선택한다.
• 모든 순서에서 유도된 네트워크가 본질적으로 비순환적이므로, 비용이 많이 드는 순환성 검사 과정을 피한다.
• 네트워크의 품질을 평가하기 위해 점수 함수(예: BIC 또는 BDeu)를 사용한다.
• 최근에 탐색한 순서를 다시 방문하는 것을 방지하기 위해 탐색 금지 목록을 사용하여 탐색의 다양성을 향상시킨다.

실험 결과

연구 질문

• RQ1 노드 순서의 탐색이 기존의 구조 공간 탐색보다 베이지안 네트워크 학습에서 더 나은 성능을 내는가?
• RQ2 순서로 제한된 탐색이 표준 탐욕적 오르막 탐색과 탐색 금지 목록을 사용할 때보다 더 높은 점수와 더 빠른 수렴 속도를 달성하는가?
• RQ3 순서 기반에 기반한 단순하고 효율적인 알고리즘이 복잡한 최첨단 방법들과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 구조 공간 탐색과 순서 공간 탐색 간의 분기 계수와 탐색 공간 크기를 비교하면 어떻게 되는가?
• RQ5 순서 기반 접근 방식은 비용이 많이 드는 순환성 검사를 얼마나 줄일 수 있는가?

주요 결과

• OBS는 합성 데이터와 실제 데이터 세트 모두에서 표준 탐욕적 오르막 탐색과 탐색 금지 목록을 사용하는 기준보다 네트워크 점수와 런타임 성능 측면에서 뛰어나다.
• 단순성과 낮은 구현 오버헤드에도 불구하고, 더 복잡한 알고리즘들과 경쟁 가능한 점수를 달성한다.
• 순서의 탐색 공간은 모든 가능한 베이지안 네트워크 구조의 공간보다 상당히 작아 더 많은 전역 탐색 단계를 가능하게 한다.
• 순서 공간의 분기 계수는 구조 공간보다 낮아 탐색이 더 효율적으로 이루어진다.
• 모든 순서에서 유도된 네트워크가 본질적으로 비순환적이므로, 비용이 많이 드는 순환성 검사를 피할 수 있다.
• 실험 결과 OBS는 벤치마크 데이터 세트에서 기준보다 더 높은 BIC 점수와 더 빠른 수렴 속도를 달성함을 보였다.