[논문 리뷰] Improved Acyclicity Reasoning for Bayesian Network Structure Learning with Constraint Programming

Fulya Trösser, Simon de Givry외 1명|arXiv (Cornell University)|2021. 06. 23.

Bayesian Modeling and Causal Inference참고 문헌 21인용 수 4

한 줄 요약

이 논문은 제약 프로그래밍을 통한 베이지안 네트워크 구조 학습(BNSL)에서 순환성 제약의 향상된 추론을 제안하며, 다항 시간 복잡도의 클러스터 컷 탐지 알고리즘, 게으른 이중 선형계획법(LP) 해법기, 그리고 순환성 제약을 위한 최적화된 GAC 전파기구를 도입한다. CPBayes에 ELSA로 통합된 이 기법들은 검색 시간을 수개월 수준으로 단축시키며, 대규모 BNSL 인스턴스에서 GOBNILP와 CPBayes를 모두 능가하여 시간 제한 내에 9개 더 많은 인스턴스를 최적해로 해결한다.

ABSTRACT

Bayesian networks are probabilistic graphical models with a wide range of application areas including gene regulatory networks inference, risk analysis and image processing. Learning the structure of a Bayesian network (BNSL) from discrete data is known to be an NP-hard task with a superexponential search space of directed acyclic graphs. In this work, we propose a new polynomial time algorithm for discovering a subset of all possible cluster cuts, a greedy algorithm for approximately solving the resulting linear program, and a generalised arc consistency algorithm for the acyclicity constraint. We embed these in the constraint programmingbased branch-and-bound solver CPBayes and show that, despite being suboptimal, they improve performance by orders of magnitude. The resulting solver also compares favourably with GOBNILP, a state-of-the-art solver for the BNSL problem which solves an NP-hard problem to discover each cut and solves the linear program exactly.

연구 동기 및 목표

• 이산 데이터로부터 베이지안 네트워크 구조를 학습하는 데 있어 NP-난이도 문제를 제약 프로그래밍을 통해 해결하기 위해.
• 비용이 많이 들고 NP-난이도인 컷 생성에 의존도를 줄임으로써 CP 기반 솔버의 순환성 추론 효율성을 향상시키기 위해.
• 해결 품질과 계산 속도의 균형을 이루는 가벼운 근사 추론 기법을 개발하기 위해.
• 더 빠른 이론적 경계값과 순환성 제약에서의 강력한 가지치기 기반 GAC를 결합함으로써 기존 솔버인 GOBNILP와 CPBayes를 능가하기 위해.
• 도메인 가지치기와 선형 이론적 근사 기법을 최적화함으로써 BNSL 솔버의 대규모 인스턴스 확장성을 높이기 위해.

제안 방법

• 순환성 제약의 선형 이론적 근사값을 증가시키는 데 확보된 다항 시간 알고리즘을 제안하여 클러스터 컷의 부분집합을 탐지한다.
• MaxSAT 및 WCSP 방법에 영감을 얻어, 이론적 계산을 가속화하기 위해 근사적으로 이중 선형계획법(LP) 문제를 해결하는 게으른 알고리즘을 도입한다.
• 기존 연구 대비 시간 복잡도와 실용적 성능을 향상시킨 순환성 제약을 위한 일반화된 간선일致성(GAC) 전파기구를 설계한다.
• 이러한 구성 요소들을 CPBayes 솔버에 통합하여 ELSA라는 새로운 솔버를 만들었으며, 향상된 경계값과 가지치기 기반의 분기 및 경계 기법을 사용한다.
• 게으른 이중 LP 해법기에서 경계 품질을 향상시키기 위해 힌트 기반 클러스터 순서 전략을 사용하여 전체 성능을 향상시킨다.
• 하이브리드 접근 방식을 통해 대안 대체, 하위문제 캐싱, 패턴 데이터베이스를 활용하여 CP 프레임워크 내에서 하한 추정을 수행한다.

실험 결과

연구 질문

• RQ1 NP-난이도 하위문제를 해결하지 않으면서도 다항 시간 알고리즘을 통해 순환성 컷을 탐지하는 방법이 CP 기반 BNSL 솔버의 성능을 향상시킬 수 있는가?
• RQ2 근사적인 이중 LP 해법이 정확한 LP 이론적 근사값을 충분히 근사할 수 있는가? 이는 BNSL에서 런타임을 크게 줄일 수 있는가?
• RQ3 최적화된 GAC 전파기구는 기존 방법보다 순환성 제약에서 검색 공간 탐색을 더 효과적으로 줄일 수 있는가?
• RQ4 가벼운 추론 기법과 강력한 가지치기 기법을 결합하면 GOBNILP 및 CPBayes와 같은 최신 기술보다 더 나은 성능을 낼 수 있는가?
• RQ5 클러스터 순서와 힌트 기반 컷 선택은 BNSL 맥락에서 이중 경계의 품질을 얼마나 향상시키는가?

주요 결과

• 향상된 CPBayes 솔버인 ELSA는 이전에 최첨단으로 여겨졌던 GOBNILP보다 시간 제한 내에 9개 더 많은 BNSL 인스턴스를 최적해로 해결한다.
• 대부분의 인스턴스에서 ELSA는 CPBayes보다 검색 시간을 수개월 수준으로 단축시키며, bnetflix 데이터셋을 제외한 대부분의 경우에서 뚜렷한 성능 향상을 보인다.
• 더 큰 인스턴스에서 GAC 전파기구는 검색 시간을 최대 47%까지 줄여주며, 이는 더 큰 문제에 대해 계산 비용이 정당화됨을 보여준다.
• 클러스터 순서 전략은 경계 품질을 향상시키며, 연속적 순서로 클러스터를 사용하는 것보다 3개 더 많은 인스턴스를 최적해로 해결한다.
• 제안된 다항 시간 클러스터 컷 탐지 알고리즘은 추론 강도와 속도 사이의 강력한 트레이드오���을 제공하며, 실질적으로 GOBNILP의 NP-난이도 컷 생성 방식을 능가한다.
• 근사적인 이중 해를 사용하더라도 게으른 LP 해법기는 이론적 계산을 크게 가속화하고 분기 및 경계 검색에서 더 빠른 가지치기를 가능하게 하였다.