[논문 리뷰] Bayesian Network Learning via Topological Order

Young Woong Park, Diego Klabjan|arXiv (Cornell University)|2017. 01. 20.

Bayesian Modeling and Causal Inference참고 문헌 32인용 수 11

한 줄 요약

이 논문은 순환 제약 조건이 있는 베이지안 네트워크 구조 학습을 해결하기 위해 위상 순서를 기반으로 한 혼합정수계획법(MIP) 모델과 반복 알고리즘을 제안한다. 위상 순서를 활용해 순환성을 강제함으로써 제약 조건 수를 O(m²)로 감소시키고, 밀도가 높은 그래프에서의 해 품질을 향상시키며, 밀도가 높은 환경에서 간선 기반 방법보다 우수한 성능을 보이며, GD10은 가우시안 베이지안 네트워크 학습 과제에서 뛰어난 안정성과 성능을 보인다.

ABSTRACT

We propose a mixed integer programming (MIP) model and iterative algorithms based on topological orders to solve optimization problems with acyclic constraints on a directed graph. The proposed MIP model has a significantly lower number of constraints compared to popular MIP models based on cycle elimination constraints and triangular inequalities. The proposed iterative algorithms use gradient descent and iterative reordering approaches, respectively, for searching topological orders. A computational experiment is presented for the Gaussian Bayesian network learning problem, an optimization problem minimizing the sum of squared errors of regression models with L1 penalty over a feature network with application of gene network inference in bioinformatics.

연구 동기 및 목표

• 순환성 제약 조건 하에서 베이지안 네트워크 구조 학습의 계산적 과제를 해결하기 위해.
• 기존의 순환 제거 또는 삼각부등식 대신 위상 순서를 사용하여 DAG 학습을 위한 MIP 설정에서 제약 조건 수를 줄이기 위해.
• 해의 품질과 탐색 효율성을 향상시키기 위해 위상 순서를 활용하는 반복 알고리즘을 개발하기 위해.
• 특히 밀도가 높은 그래프 환경에서, L1-패널티가 부여된 최소 제곱법을 사용한 가우시안 베이지안 네트워크 학습 과제에서 성능을 평가하기 위해.
• 다양한 희박성 수준에서 위상 순서 기반 방법과 간선 기반 휴리스틱 및 MIP 기준 성능을 비교하기 위해.

제안 방법

• 순환성을 강제하기 위해 위상 순서를 사용하는 새로운 MIP 모델을 제안하며, 간선 기반 모델 대비 지수적으로 많은 제약 조건이 필요한 것과는 달리, 오직 O(m²)의 제약 조건만 필요로 한다.
• 핵심 성질을 활용: 방향 그래프가 DAG이면, 그 그래프는 모든 간선이 순서상 이른 노드에서 늦은 노드로 향하는 위상 순서를 가진다.
• 두 가지 반복 알고리즘을 개발: GD10(위상 순서에 대한 경사 하강법)과 IR10(반복적 재정렬), 모두 노드 순열을 기반으로 하여 고품질의 DAG를 탐색한다.
• 가우시안 베이지안 네트워크 학습에서 모델 적합도와 희박성의 균형을 이루기 위해 L1 정규화가 부여된 패널티 최소 제곱법 기반 점수 함수를 사용한다.
• 정확한 MIP와 휴리스틱 반복 최적화 양쪽 모두에 위상 순서 프레임워크를 적용하여, 밀도가 높은 DAG의 효율적 탐색을 가능하게 한다.
• 최적 해에 가까운 정도를 평가하기 위해 해 품질 지표 δ_sol을 사용하며, 낮은 값일수록 더 우수한 성능을 의미한다.

실험 결과

연구 질문

• RQ1 위상 순서를 사용하여 기존의 순환 제거 접근 방식보다 제약 조건 수가 적은 더 스케일러블한 MIP 모델을 DAG 학습에 구축할 수 있는가?
• RQ2 다양한 그래프 밀도에서 위상 순서 기반 반복 알고리즘의 성능은 간선 기반 휴리스틱과 비교해 해 품질과 실행 시간 측면에서 어떻게 다른가?
• RQ3 제안된 MIP 모델은 가우시안 베이지안 네트워크 학습에서 노드 수와 표본 크기가 증가함에 따라 효과적으로 스케일업되는가?
• RQ4 어떤 밀도 범위에서 위상 순서 기반 방법이 간선 기반 탐색 알고리즘을 능가하는가?
• RQ5 점수 함수의 선택(예: L1-패널티가 부여된 최소 제곱법)이 학습된 베이지안 네트워크 구조의 품질에 얼마나 큰 영향을 미치는가?

주요 결과

• 제안된 MIP 모델은 기존 간선 기반 MIP 모델에 비해 훨씬 적은 제약 조건(O(m²))을 가지며, 이는 확장성과 성능 향상에 기여한다.
• GD10은 밀도가 높은 그래프에서 특히 해 품질과 안정성 측면에서 IR10과 DIST를 항상 능가하며, λ > 0.3일 때 가장 높은 dTP 및 uTP 값을 기록한다.
• λ = 0.25일 때 GD10은 dTP = 0.38 및 uTP = 0.56를 기록하며, IR10(dTP = 0.25, uTP = 0.50)과 DIST(dTP = 0.30, uTP = 0.50)를 능가한다.
• λ가 작을 경우(예: 0.1), DIST가 dTP 및 uTP에서 최고 성능(0.56)을 보이지만, GD10은 다양한 λ 값에서 뛰어난 안정성과 성능을 유지한다.
• 실행 시간과 확장성 측면에서 MIP 모델은 반복 알고리즘에 뒤지며, 특히 더 큰 인스턴스에서는 더욱 두드러진다. 그러나 해 품질 측면에선 커팅 플레인 성능과 동등하다.
• IR10과 DIST 간의 δ_sol(해 품질) 차이는 1% 미만이지만, 그 결과로 생성된 부분그래프 간 공통 간선 수는 단지 10개에 불과하여, 해 품질의 미세한 변화에 매우 민감함을 시사한다.