[논문 리뷰] Bayesian network learning by compiling to weighted MAX-SAT

James Cussens|arXiv (Cornell University)|2012. 06. 13.

Bayesian Modeling and Causal Inference참고 문헌 8인용 수 43

한 줄 요약

이 논문은 가중치가 부여된 MAX-SAT 문제로 구조 학습 문제를 재구성하여 이산 베이지안 네트워크를 학습하는 새로운 방법을 제안한다. MaxWalkSat 알고리즘을 활용한 최적화를 통해, 가족 점수(BDeu)를 소프트 절로 변환하고 총순서를 통한 사이클 방지를 통해, 60개 변수와 10,000개의 데이터 포인트를 포함한 대규모 사례를 포함한 21개의 합성 데이터셋에서 진짜 네트워크보다 높은 BDeu 점수를 기록한 베이지안 네트워크 구조를 효율적으로 발견한다.

ABSTRACT

The problem of learning discrete Bayesian networks from data is encoded as a weighted MAX-SAT problem and the MaxWalkSat local search algorithm is used to address it. For each dataset, the per-variable summands of the (BDeu) marginal likelihood for different choices of parents ('family scores') are computed prior to applying MaxWalkSat. Each permissible choice of parents for each variable is encoded as a distinct propositional atom and the associated family score encoded as a 'soft' weighted single-literal clause. Two approaches to enforcing acyclicity are considered: either by encoding the ancestor relation or by attaching a total order to each graph and encoding that. The latter approach gives better results. Learning experiments have been conducted on 21 synthetic datasets sampled from 7 BNs. The largest dataset has 10,000 datapoints and 60 variables producing (for the 'ancestor' encoding) a weighted CNF input file with 19,932 atoms and 269,367 clauses. For most datasets, MaxWalkSat quickly finds BNs with higher BDeu score than the 'true' BN. The effect of adding prior information is assessed. It is further shown that Bayesian model averaging can be effected by collecting BNs generated during the search.

연구 동기 및 목표

• 스케일이 가능하고 효과적인 최적화 프레임워크를 사용하여 데이터로부터 최적의 베이지안 네트워크 구조를 학습하는 데 도전하는 것.
• 강력한 국소 탐색 솔버를 활용하기 위해 이산 베이지안 네트워크 학습 문제를 가중치가 부여된 MAX-SAT 문제로 인코딩하는 것.
• 두 가지 사이클 방지 전략인 조상 관계 인코딩과 변수의 총순서를 평가하는 것.
• 사전 정보의 영향을 평가하고 검색 기반 샘플링을 통한 베이지안 모델 평균화의 가능성을 입증하는 것.

제안 방법

• 각 변수의 잠재적 부모 집합에 대한 가족 점수(BDeu)는 사전 계산되어 가중치가 부여된 단일 리터럴 절로 인코딩된 소프트 절로 MAX-SAT 공식화에 포함된다.
• 각 변수의 허용 가능한 부모 구성은 SAT 인스턴스 내에서 별개의 명제 원소로 표현된다.
• 변수 간의 총순서를 도입하여 사이클을 방지하는 하드 절로 제약 조건이 인코딩된다.
• MaxWalkSat 국소 탐색 알고리즘을 가중치가 부여된 CNF 공식에 적용하여 소프트 절의 가중치 합(즉, BDeu 점수)을 최대화한다.
• 검색 과정 중에 다수의 높은 점수의 네트워크를 수집함으로써 베이지안 모델 평균화를 지원한다.
• 이 방법은 7개의 베이지안 네트워크에서 유도된 21개의 합성 데이터셋에서 평가되었으며, 최대 60개의 변수와 10,000개의 데이터 포인트를 포함한다.

실험 결과

연구 질문

• RQ1 베이지안 네트워크 구조 학습이 효과적으로 가중치가 부여된 MAX-SAT 문제로 재구성될 수 있는가? 이는 확장 가능한 최적화를 가능하게 하는가?
• RQ2 사이클 방지 전략으로서 조상 관계 인코딩과 총순서 중 어느 것이 BDeu 점수와 수렴 속도 측면에서 더 우수한 성능을 보이는가?
• RQ3 이 MAX-SAT 인코딩을 사용할 때 사전 정보의 포함 여부가 학습된 베이지안 네트워크의 품질에 어떤 영향을 미치는가?
• RQ4 검색 과정 중에 다양하고 높은 점수의 구조를 수집함으로써 베이지안 모델 평균화를 어느 정도 근사할 수 있는가?

주요 결과

• 대부분의 합성 데이터셋에서 MaxWalkSat는 데이터 생성에 사용된 진짜 네트워크보다 더 높은 BDeu 점수를 기록한 베이지안 네트워크 구조를 일관되게 발견했다.
• 사이클 방지를 위한 총순서 접근 방식이 조상 관계 인코딩보다 솔루션 품질과 수렴 속도 측면에서 뛰어난 성능을 보였다.
• 이 방법은 대규모 데이터셋으로도 잘 스케일링되었으며, 60개 변수와 10,000개의 데이터 포인트를 가진 네트워크에 대해 19,932개의 원소와 269,367개의 절을 포함하는 가중치가 부여된 CNF 인스턴스를 생성했다.
• 사전 정보의 포함이 학습된 구조의 품질을 향상시켜, 도메인 지식을 통합할 수 있는 방법의 유연성을 입증했다.
• 검색 과정 중에 다수의 높은 점수의 네트워크를 수집함으로써 베이지안 모델 평균화가 효과적으로 근사되었으며, 이는 이 방법이 점 추정을 넘어서 유용한 기능을 제공한다는 점을 검증했다.