[논문 리뷰] Advances in Learning Bayesian Networks of Bounded Treewidth

Siqi Nie, Denis Deratani Mauá외 2명|arXiv (Cornell University)|2014. 06. 05.

Bayesian Modeling and Causal Inference참고 문헌 27인용 수 23

한 줄 요약

이 논문은 제한된 트리너비를 갖는 베이지안 네트워크 구조의 정확한 학습을 위한 새로운 혼합정수선형계획법(MILP) 설정을 제안하며, k-트리들을 균일하게 샘플링하고 그 안에서 최적의 구조를 선택하는 근사 기반 방법을 함께 제시한다. 정확한 방법은 더 큰 네트워크와 더 높은 트리너비에서 최신 기술보다 뛰어난 성능을 보이며, 근사 방법은 효율적으로 확장되어 최대 100개의 변수를 가진 공개 데이터셋에서 높은 정확도를 달성한다.

ABSTRACT

This work presents novel algorithms for learning Bayesian network structures with bounded treewidth. Both exact and approximate methods are developed. The exact method combines mixed-integer linear programming formulations for structure learning and treewidth computation. The approximate method consists in uniformly sampling $k$-trees (maximal graphs of treewidth $k$), and subsequently selecting, exactly or approximately, the best structure whose moral graph is a subgraph of that $k$-tree. Some properties of these methods are discussed and proven. The approaches are empirically compared to each other and to a state-of-the-art method for learning bounded treewidth structures on a collection of public data sets with up to 100 variables. The experiments show that our exact algorithm outperforms the state of the art, and that the approximate approach is fairly accurate.

연구 동기 및 목표

• 트리너비에 하드 제약 조건이 있는 베이지안 네트워크 구조 학습의 과제를 해결하기 위해, 이는 효율적이고 신뢰할 수 있는 추론을 위한 필수 조건이다.
• 기존의 동적 프로그래밍 접근 방식의 한계를 넘어선다며, 특히 50개 이상의 변수를 가진 네트워크에서 확장 가능한 정확한 방법을 개발하기 위해 노력한다.
• 정확한 방법이 비현실적이게 되는 대규모 도메인과 높은 트리너비 제약 조건에서도 확장 가능한 학습을 가능하게 하는 근사 방법을 설계한다.
• 절단 평면 기법을 피하고 지수적으로 증가하는 제약 조건을 방지함으로써 기존의 MILP 설정을 개선하여 단일 호출 최적화를 가능하게 한다.
• 최대 100개의 변수와 다양한 트리너비 제약 조건을 가진 공개 데이터셋에서 최신 기술과의 비교를 통해 두 방법의 실험적 평가를 수행한다.

제안 방법

• 정확한 방법은 기존의 제약 조건이 없는 베이지안 네트워크 구조 학습과 트리너비 계산을 위한 MILP 설정을 통합한 혼합정수선형계획법(MILP) 설정을 사용하며, 절단 평면 생성이 필요 없이 다항식 크기의 문제로 축소된다.
• 근사 방법은 k-트리(트리너비 k를 갖는 최대 그래프)를 균일하게 샘플링한 후, 각 k-트리의 부분그래프에서 정확하거나 근사적인 구조 학습을 수행하여 최고의 점수를 갖는 네트워크를 찾는다.
• 샘플링 방법의 1버전은 주어진 k-트리와 호환되는 모든 가능한 네트워크 구조에 대한 완전 탐색을 수행하는 반면, 2버전은 더 빠른 근사 탐색 전략을 사용한다.
• 다양한 랜덤 시드를 사용하여 여러 번 샘플링을 반복함으로써 분산을 줄이고, 런에 걸친 중앙값 점수를 사용하여 결과를 집계한다.
• MILP 설정은 표준 솔버를 사용하여 단일 호출로 해결되며, 반복적인 제약 조건 생성을 피함으로써 효율성과 단순성을 향상시킨다.
• 이 접근은 트리너비가 추론 복잡도의 핵심 결정 요소임을 활용하며, 따라서 이를 제약 조건으로 설정함으로써 대규모 모델에서 처리 가능한 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 절단 평면 생성을 반복적으로 수행할 필요 없이, 다항식 크기의 MILP 설정을 구성하여 제한된 트리너비를 갖는 베이지안 네트워크를 학습할 수 있는가?
• RQ2 제안된 정확한 MILP 방법은 최대 100개의 변수를 가진 데이터셋에서 확장성과 해의 품질 측면에서 최신 기술과 비교해 어떻게 성능을 내는가?
• RQ3 정확한 방법이 실패하는 대규모 도메인에서, 다수의 k-트리를 탐색하는 근사 샘플링 기반 방법이 얼마나 높은 품질의 해를 달성하는가?
• RQ4 고품질의 k-트리를 찾는 데에 투자하는 것이, 고정된 k-트리 내에서 네트워크 구조를 최적화하는 것보다 더 효과적인가?
• RQ5 MAX-SAT 및 절단 평면 기법을 사용하는 최근의 연구들과 비교해 제안된 방법의 성능은 어떠한가?

주요 결과

• 제안된 MILP 설정은 확장성 측면에서 최신 기술을 능가하며, 최대 100개의 변수와 트리너비 제약 조건이 10인 문제까지 성공적으로 해결한다. 반면 최신 기술은 50개 이상의 변수를 가진 데이터셋에서는 실패했다.
• MILP 방법은 트리너비 ≤ 4인 hill 데이터셋에서는 10분 이내에 해를 도출하지 못했고, community 데이터셋에서는 3시간 내 수렴하지 못해 대규모 도메인에서의 확장성 한계를 보였다.
• 샘플링 방법의 2버전은 항상 1버전을 능가했으며, 더 빠른 반복 시간과 더 넓은 k-트리 공간 탐색 덕분에 최대 중앙값 성능의 120%까지의 상대적 점수를 기록했다.
• 근사 방법은 높은 정확도를 달성했으며, MATLAB로 구현된 점을 감안할 때, 더 큰 데이터셋에서 트리너비 제약 조건이 10일 때 MILP 설정을 능가했다.
• 샘플링 기반 접근은 도메인 크기와 트리너비 제약 조건 모두에서 선형적으로 확장 가능하므로, 정확한 방법이 실패하는 대규모 베이지안 네트워크 학습에 적합하다.
• 결과는 한정된 k-트리 내에서 네트워크 구조를 최적화하는 것보다 고급 품질의 k-트리를 찾는 데에 컴퓨팅 자원을 투자하는 것이 더 유익하다는 점을 시사하며, 이는 2버전의 뛰어난 성능에 의해 뒷받침된다.