[논문 리뷰] Learning Equivalence Classes of Bayesian Networks Structures

David Maxwell Chickering|arXiv (Cornell University)|2013. 02. 13.

Bayesian Modeling and Causal Inference참고 문헌 3인용 수 11

한 줄 요약

이 논문은 상태가 개별 네트워크 구조가 아니라 베이지안 네트워크의 동치 클래스를 나타내는 검색 공간을 제안함으로써, 점수 기반 방법을 사용할 때 더 효율적인 학습을 가능하게 한다. 동치 클래스 내의 모든 구조에 대해 많은 점수 함수가 동일한 점수를 부여한다는 사실을 활용함으로써, 이 접근법은 검색 공간 복잡도를 감소시키고 이sov모픽 네트워크의 중복 평가를 방지함으로써 게으른 검색 성능을 향상시킨다.

ABSTRACT

Approaches to learning Bayesian networks from data typically combine a scoring function with a heuristic search procedure. Given a Bayesian network structure, many of the scoring functions derived in the literature return a score for the entire equivalence class to which the structure belongs. When using such a scoring function, it is appropriate for the heuristic search algorithm to search over equivalence classes of Bayesian networks as opposed to individual structures. We present the general formulation of a search space for which the states of the search correspond to equivalence classes of structures. Using this space, any one of a number of heuristic search algorithms can easily be applied. We compare greedy search performance in the proposed search space to greedy search performance in a search space for which the states correspond to individual Bayesian network structures.

연구 동기 및 목표

• 동치 클래스 내에서 불변인 점수 함수를 사용할 때, 개별 베이지안 네트워크 구조를 검색하는 데 발생하는 비효율성을 해결하기 위해.
• 각 상태가 전체 동치 클래스의 구조에 대응하는 검색 공간을 개발하기 위해.
• 개별 네트워크 구조가 아닌 동치 클래스 그 자체에 직접 작용함으로써 히우리스틱 검색 알고리즘의 성능을 향상시키기 위해.
• 동치 클래스를 기반으로 검색할 경우 수렴 속도 향상과 더 나은 확장성 확보가 가능한지 보여주기 위해.

제안 방법

• 동일한 스켈레톤과 불완전한 v-구조를 가진 동치 클래스로 정의된, 각 상태가 베이지안 네트워크의 동치 클래스를 나타내는 공식적인 검색 공간을 제안한다.
• 일반적인 점수 함수(예: BIC, BDeu)가 동일한 동치 클래스 내의 모든 구조에 동일한 점수를 할당한다는 사실을 활용한다.
• 에지 추가, 삭제, 뒤집기 등의 연산을 사용하여 동치 클래스 소속을 유지하는 동치 클래스 기반의 히우리스틱 검색 알고리즘을 설계한다.
• 각 동치 클래스에 대해 표준 표현형(예: 인접 행렬의 사전순 정렬)을 정의하여 상태 표현의 유일성을 확보한다.
• 점수 함수 기반으로 각 단계에서 최적의 동치 클래스를 선택하는 게으른 검색 전략을 구현한다.
• 모든 연산이 동치 클래스 성질을 유지하도록 보장하여, 이sov모픽 구조의 다중 평가가 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 히우리스틱 검색을 동치 클래스 기반으로 수행할 경우, 개별 구조 기반 검색에 비해 효율성과 수렴 속도 측면에서 뛰어나게 되는가?
• RQ2 검색 공간의 구조가 베이지안 네트워크의 구조 학습에서 게으른 검색 알고리즘의 성능에 어떤 영향을 미치는가?
• RQ3 개별 네트워크 구조가 아닌 동치 클래스를 기반으로 운영할 경우의 계산적 및 표현적 이점은 무엇인가?
• RQ4 점수 정밀도를 유지하면서도 검색 도중 동치 클래스를 효율적으로 표현하고 조작할 수 있는 방법은 무엇인가?
• RQ5 동치 클래스 기반 운영이 점수 기반 학습에서 중복 평가 횟수를 줄이는가?

주요 결과

• 수렴 속도와 해의 품질 측면에서, 개별 구조 공간에서의 검색에 비해 동치 클래스 공간에서의 게으른 검색이 더 뛰어난 성능을 보였다.
• 동치 클래스로 인한 검색 공간 축소로 인해 중복 평가 횟수가 감소하여 확장성이 향상되었다.
• 동치 구조 간에 동일한 점수 함수 행동을 유지함으로써 최적성 손실가 없이 보존되었다.
• 표준 표현형의 사용은 검색 공간 내에서 고유하고 효율적인 상태 표현을 가능하게 하였다.
• UAI 1996 논문의 실증 결과에 따르면, 기준 데이터셋에서 동치 클래스 기반 검색이 구조 기반 검색보다 속도와 정확도 측면에서 뛰어난 성능을 보였다.
• 이 방법은 BIC나 BDeu와 같이 동치 클래스 내에서 불변인 점수 함수와 일반적으로 호환되며, 일반적인 적용이 가능하다.