[논문 리뷰] Bayesian network learning with cutting planes

James Cussens|arXiv (Cornell University)|2012. 02. 14.

Bayesian Modeling and Causal Inference참고 문헌 13인용 수 167

한 줄 요약

이 논문은 이산적 완전 데이터에서 부모 집합 크기 제약 조건 하에 베이지안 네트워크 구조 학습을 위한 새로운 정확한 방법을 제안한다. 문제는 순환성 제약 조건을 강제하기 위해 커팅 평면을 동적으로 추가하는 정수계획법(IP)으로 공식화된다. SCIP 프레임워크와 하위 IP를 활용하여 효과적인 커팅 평면을 생성함으로써, 이전 방법에 비해 훨씬 빠른 정확한 학습 성능를 달성하였으며, 제한된 부모 집합 크기를 가진 기준 데이터셋에서 높은 효율성을 입증하였다.

ABSTRACT

The problem of learning the structure of Bayesian networks from complete discrete data with a limit on parent set size is considered. Learning is cast explicitly as an optimisation problem where the goal is to find a BN structure which maximises log marginal likelihood (BDe score). Integer programming, specifically the SCIP framework, is used to solve this optimisation problem. Acyclicity constraints are added to the integer program (IP) during solving in the form of cutting planes. Finding good cutting planes is the key to the success of the approach -the search for such cutting planes is effected using a sub-IP. Results show that this is a particularly fast method for exact BN learning.

연구 동기 및 목표

• 완전한 이산 데이터에서 부모 집합 크기 제약 조건 하에 정확한 베이지안 네트워크 구조 학습 문제를 해결하기 위해.
• 동적 제약 조건 생성을 활용한 정수계획법을 통해 정확한 학습의 계산 효율성을 향상시키기 위해.
• 최적화를 통한 BDe 점수 최대화를 위한 확장 가능하고 효율적인 방법을 개발하기 위해.
• 지능적인 커팅 평면 생성을 통해 베이지안 네트워크 구조 탐색에서 순환성 강제의 계산 부담을 줄이기 위해.

제안 방법

• 구조 학습 문제는 각 노드에 대한 잠재적 부모 집합을 나타내는 결정 변수를 포함한 정수계획법(IP)으로 공식화된다.
• 목적 함수는 네트워크 구조의 로그 주변 가능도(BDe 점수)를 최대화한다.
• 순환성은 사전에 모든 제약 조건을 포함하는 대신, 해를 구하는 과정 중에 생성된 커팅 평면을 통해 강제한다.
• 하위 IP를 사용하여 순환해를 제거하는 효과적인 커팅 평면을 탐색하고 식별한다.
• SCIP 최적화 프레임워크를 사용하여 커팅 평면을 동적으로 추가하는 방식으로 IP를 해결한다.
• 처리 가능성 향상과 현실적인 모델링 제약 조건 반영을 위해 부모 집합 크기를 제한한다.

실험 결과

연구 질문

• RQ1 동적 커팅 평면을 사용한 정수계획법이 기존의 정확한 방법보다 베이지안 네트워크 구조 학습에서 뛰어난 성능을 보일 수 있는가?
• RQ2 하위 IP를 활용한 순환성 강제 커팅 평면 생성 방식이 해 시간을 얼마나 효과적으로 줄이는가?
• RQ3 부모 집합 크기를 제한함으로써 모델 품질을 손상시키지 않으면서 스케일러비리티는 어느 정도 향상되는가?
• RQ4 표준 벤치마크에서 커팅 평면 접근 방식이 정확성을 유지하면서도 상당한 속도 향상을 달성할 수 있는가?

주요 결과

• 제안된 방법은 표준 기준 데이터셋에서 이전의 정확한 접근 방식에 비해 더 빠른 정확한 학습 성능를 달성하였다.
• 동적 커팅 평면 사용으로 인해 IP를 해결하기 위해 필요한 브랜치 앤 컷 반복 수가 크게 감소하였다.
• 하위 IP를 통한 커팅 평면 생성 방식은 순환해를 효과적으로 식별하고 수렴 속도를 향상시키는 데 성공하였다.
• 중간 정도의 부모 집합 크기 제약 조건 하에서 잘 스케일링되어 이전에는 가능하지 않았던 더 큰 네트워크에 대한 정확한 학습을 가능케 하였다.