[논문 리뷰] Advances in Bayesian Network Learning using Integer Programming

Mark Bartlett, James Cussens|arXiv (Cornell University)|2013. 09. 26.

Bayesian Modeling and Causal Inference참고 문헌 15인용 수 70

한 줄 요약

이 논문은 완전한 이산 데이터로부터 최적의 베이지안 네트워크를 학습하기 위해 정수계획법(IP) 접근법을 제안한다. 이는 컷팅 플레인, 빠른 그레디 휴리스틱, 강화된 선형 근사화 기법을 활용한다. 이 방법은 이전의 접근법에 비해 점수 향상과 확장성에서 뚜렷한 개선을 이룩하였으며, 고급 IP 기법을 통해 BN 구조 학습 문제를 이산 최적화 문제로 재정의함으로써 벤치마크 데이터셋에서 놀라운 성능 향상을 보였다.

ABSTRACT

We consider the problem of learning Bayesian networks (BNs) from complete discrete data. This problem of discrete optimisation is formulated as an integer program (IP). We describe the various steps we have taken to allow efficient solving of this IP. These are (i) efficient search for cutting planes, (ii) a fast greedy algorithm to find high-scoring (perhaps not optimal) BNs and (iii) tightening the linear relaxation of the IP. After relating this BN learning problem to set covering and the multidimensional 0-1 knapsack problem, we present our empirical results. These show improvements, sometimes dramatic, over earlier results.

연구 동기 및 목표

• 정확한 최적화 기법을 사용하여 이산 데이터로부터 최적의 베이지안 네트워크 구조를 학습하는 데 도전한다.
• 휴리스틱 또는 근사 방법을 넘어서 확장성과 해 품질을 향상시킨다.
• BN 구조 학습 문제를 정수계획법(IP)으로 재정의하여 정확한 최적화를 수행한다.
• 커팅 플레인과 근사화 강화와 같은 고급 기법을 통해 IP 문제를 해결하는 효율성을 향상시킨다.
• 기존의 방법들과 비교하여 표준 벤치마크 데이터셋에서의 경험적 우수성을 입증한다.

제안 방법

• 결정 변수가 네트워크 내 잠재적 간선을 나타내는 정수계획법(IP)으로 베이지안 네트워크 구조 학습 문제를 수식화한다.
• IP 솔버를 안내하기 위해 고성능이면서 근사 최적의 네트워크를 생성하는 빠른 그레디 알고리즘을 적용한다.
• 효율적인 분리 알고리즘을 사용하여 컷팅 플레인을 식별하고 추가함으로써 IP 근사화를 강화하고 분수해를 제거한다.
• 세트 커버링 및 다차원 0-1 캐리어 문제와 관련된 유효한 부등식을 문제 구조에서 유도하여 IP의 선형 근사화를 강화한다.
• BN 학습과 조합 최적화 문제 간의 관계를 활용하여 알려진 다면체 성질을 이용해 더 나은 경계를 확보한다.
• 이러한 요소들을 브랜치 앤 컷 프레임워크에 통합하여 IP 문제를 최적 또는 근사 최적으로 해결한다.

실험 결과

연구 질문

• RQ1 정수계획법은 이산 데이터로부터 베이지안 네트워크 구조를 정확하게 학습하는 데 효과적으로 적용될 수 있는가?
• RQ2 커팅 플레인과 근사화 강화는 IP 수식의 해법 효율성을 어떻게 향상시키는가?
• RQ3 빠른 그레디 휴리스틱은 IP 기반 학습 프레임워크의 성능을 어느 정도 향상시키는가?
• RQ4 제안된 IP 방법은 이전의 최첨단 접근법과 비교하여 점수와 실행 시간 측면에서 어떻게 다른가?
• RQ5 BN 학습 문제를 세트 커버링 또는 다차원 0-1 캐리어 문제로 재정의함으로써 솔버 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 IP 기반 방법은 이전의 접근법에 비해 점수 품질에서 뚜렷한 향상을 이룩하였으며, 일부 데이터셋에서는 최적 점수에서 놀라운 개선을 보였다.
• 커팅 플레인과 근사화 강화의 통합은 최적성 갭을 줄이고 브랜치 앤 컷 과정의 수렴 속도를 가속화시켰다.
• 빠른 그레디 휴리스틱은 고성능의 초기 해를 제공하여 최적 또는 근사 최적의 네트워크를 찾는 데 소요되는 시간을 크게 단축시켰다.
• 표준 벤치마크에서의 경험적 결과는 이전의 정확한 방법보다 더 나은 확장성을 보였으며, 이전에는 해결이 불가능했던 인스턴스를 해결할 수 있었다.
• BN 학습 문제를 세트 커버링 및 다차원 0-1 캐리어 문제로 재정의함으로써 전용 컷팅 플레인과 유효한 부등식을 활용할 수 있게 되어 솔버 성능이 향상되었다.
• 다양한 벤치마크 데이터셋에서 솔루션 품질과 계산 효율성 양면에서 이전의 최첨단 알고리즘보다 뛰어난 성능을 보였다.