[논문 리뷰] Efficient Learning of Bounded-Treewidth Bayesian Networks from Complete and Incomplete Data Sets

Mauro Scanagatta, Giorgio Corani외 3명|arXiv (Cornell University)|2018. 02. 07.

Bayesian Modeling and Causal Inference참고 문헌 21인용 수 3

한 줄 요약

이 논문은 완전하고 불완전한 데이터로부터 유계 트리너비 베이지안 네트워크를 학습하기 위한 anytime 알고리즘인 k-MAX를 소개한다. 기존 방법들과 비교해 구조 스코어와 확장성 면에서 뚜렷한 슈퍼리어리티를 보이며, 구조적 EM에 통합될 경우 기존 최고 수준의 랜덤 포레스트 방법보다 약 10배 빠른 속도로 선형 시간 복잡도를 갖는 효율적인 데이터 보정을 가능하게 하며, 정확도는 유사하고 완전한 병렬 처리가 가능하다.

ABSTRACT

Learning a Bayesian networks with bounded treewidth is important for reducing the complexity of the inferences. We present a novel anytime algorithm (k-MAX) method for this task, which scales up to thousands of variables. Through extensive experiments we show that it consistently yields higher-scoring structures than its competitors on complete data sets. We then consider the problem of structure learning from incomplete data sets. This can be addressed by structural EM, which however is computationally very demanding. We thus adopt the novel k-MAX algorithm in the maximization step of structural EM, obtaining an efficient computation of the expected sufficient statistics. We test the resulting structural EM method on the task of imputing missing data, comparing it against the state-of-the-art approach based on random forests. Our approach achieves the same imputation accuracy of the competitors, but in about one tenth of the time. Furthermore we show that it has worst-case complexity linear in the input size, and that it is easily parallelizable.

연구 동기 및 목표

• 대규모 데이터로부터 유계 트리너비를 가진 베이지안 네트워크를 학습하기 위한 확장 가능하고 고성능 알고리즘 개발.
• 불완전한 데이터로부터의 구조 학습의 계산적 병목 현상을 해결하기 위해 k-MAX를 구조적 EM에 통합.
• 유계 트리너비 네트워크를 사용해 높은 정확도를 유지하면서도 저비용으로 효율적인 데이터 보정을 가능하게 하기.
• 대규모 응용 프로그램을 위한 최악의 경우 선형 시간 복잡도와 내장된 병렬 처리 기능 달성.

제안 방법

• k-MAX는 트리너비 제약 조건 하에서 높은 스코어를 가진 DAG를 확보하기 위해 반복적으로 베이지안 네트워크의 구조를 최적화하는 고급 휴리스틱을 사용한다.
• 알고리즘은 anytime으로 설계되어 현재 최고의 해를 조기에 정지할 수 있으며, 수천 개의 변수로의 확장성도 고려되어 있다.
• k-MAX는 구조적 EM(Sem)의 최대화 단계에 통합되어, 유계 트리너비 추론을 통해 기대 충분통계량을 효율적으로 계산할 수 있도록 한다.
• 학습된 유계 트리너비 네트워크에서 정확한 추론을 수행해 데이터 보정을 수행하며, 트리너비와 변수의 기수값이 일정할 경우 각 쿼리의 비용은 O(n)이다.
• 전체 파이프라인은 병렬 처리가 가능하다: 부모 집합 식별, k-MAX 최적화, 기대 단계 쿼리가 코어 간에 분산될 수 있다.
• 시간 제한을 조정함으로써 사용자가 보정 정확도와 런타임 사이의 균형을 조절할 수 있도록 파rameter 튜닝이 가능하다.

실험 결과

연구 질문

• RQ1 k-MAX는 완전한 데이터 세트에서 k-greedy와 같은 기존 anytime 알고리즘보다 높은 스코어를 가진 유계 트리너비 베이지안 네트워크를 학습하는 데서 슈퍼리어한 성능를 보일 수 있는가?
• RQ2 k-MAX는 불완전한 데이터에 대해 수천 개의 변수로 확장 가능한 구조적 EM에 효율적으로 통합될 수 있는가?
• RQ3 SEM-k-MAX 방법은 최고 수준의 접근 방식과 비교해 경쟁 가능한 보정 정확도를 유지하면서도 런타임을 크게 줄일 수 있는가?
• RQ4 SEM-k-MAX의 이론적 시간 복잡도는 무엇이며, 입력 크기와 선형으로 확장되는가?
• RQ5 SEM-k-MAX 파이프라인은 다수의 프로세서 간에 얼마나 효과적으로 병렬 처리될 수 있는가?

주요 결과

• k-MAX는 특히 고차원 설정에서 k-greedy 및 기타 경쟁자들보다 항상 더 높은 스코어를 가진 베이지안 네트워크 구조를 달성한다.
• SEM-k-MAX는 최고 수준의 랜덤 포레스트 기반 방법과 동일한 데이터 보정 정확도를 달성하지만, 런타임은 약 10배 빠르게 작동한다.
• SEM-k-MAX의 최악의 경우 시간 복잡도는 입력 크기와 선형적이다(O(nd))로, 수천 개의 변수를 가진 거대한 데이터 세트에 대해서도 확장 가능하다.
• 이 방법은 내장된 병렬 처리가 가능하며, 변수, 코어, 데이터 포인트 간에 독립적으로 실행이 가능해 효율적인 분산 배포가 가능하다.
• 실험에서 시간 제한(t=1,5,10)을 통한 파rameter 튜닝을 통해 사용자가 정확도와 속도 사이의 균형을 조절할 수 있으며, t=1이 실험에서 가장 우수한 균형을 제공한다.
• 이 방법은 유역한 문헌에서 유계 트리너비 학습과 효율적인 SEM을 대규모로 통합한 첫 번째 접근으로, 불완전한 데이터에서의 처리 가능한 추론을 가능하게 한다.