[논문 리뷰] pgmpy: A Python Toolkit for Bayesian Networks

Ankur Ankan, Johannes Textor|arXiv (Cornell University)|2023. 04. 17.

Bayesian Modeling and Causal Inference인용 수 16

한 줄 요약

pgmpy는 순수-Python 기반의 모듈식 도구로, 구조 학습, 매개변수 추정, (정확 및 근사) 확률 추론, 인과 추론, 및 시뮬레이션을 베이지안 네트워크와 관련 모델에 대해 제공하며, 설계상 확장성을 갖추고 있습니다.

ABSTRACT

Bayesian Networks (BNs) are used in various fields for modeling, prediction, and decision making. pgmpy is a python package that provides a collection of algorithms and tools to work with BNs and related models. It implements algorithms for structure learning, parameter estimation, approximate and exact inference, causal inference, and simulations. These implementations focus on modularity and easy extensibility to allow users to quickly modify/add to existing algorithms, or to implement new algorithms for different use cases. pgmpy is released under the MIT License; the source code is available at: https://github.com/pgmpy/pgmpy, and the documentation at: https://pgmpy.org.

연구 동기 및 목표

• 다양한 도메인에 걸쳐 베이지안 네트워크를 위한 확장 가능한 Python 도구 키트의 필요성에 대해 동기 부여합니다.
• 다양한 BN 작업을 지원하는 모듈식이고 읽기 쉬운 구현을 제공합니다.
• 사용자가 쉽게 확장할 수 있는 구조로 구조 학습, 매개변수 학습, 추론, 인과 추론, 및 시뮬레이션에 대한 알고리즘을 제공합니다.

제안 방법

• 가독성과 확장성을 극대화하기 위해 순수 Python으로 구현되었습니다.
• 추상 기반 클래스를 사용하여 알고리즘 계열 간의 공통 데이터 구조와 인터페이스를 정의합니다.
• Structure Learning 알고리즘으로 nosep PC(여러 CI 테스트 포함), Hill-Climb, 및 MMHC를 포함하고, 트리 구조를 위한 Chow-Liu 및 Tree Augmented Naive Bayes를 제공합니다.
• Parameter Learning 방법으로 Maximum Likelihood, Dirichlet/BDeu/K2 사전 분포를 가진 Bayesian Estimation, 누락 데이터에 대한 기대값 최대화(EM)를 포함합니다.
• Probabilistic Inference는 Variable Elimination을 통한 정확한 추론과 Belief Propagation의 효율적 제거 순서 휴리스틱을 지원하고, 시뮬레이션 기반 방법을 통한 근사 추론도 제공합니다.
• Causal Inference 기능은 Instrumental Variables 및 Adjustment Set 방법을 포함하며, 연속 데이터와 이산 데이터 모두를 지원하고 외부 통계 모델의 선택적 사용을 허용합니다.

실험 결과

연구 질문

• RQ1 단일 Python 도구 키트가 효율적으로 지원해야 하는 BN 작업은 무엇인가요(구조 학습, 매개변수 학습, 추론, 인과 추론, 시뮬레이션)?
• RQ2 모듈식이고 확장 가능한 설계 패턴(기본 클래스, 플러그 가능 구성요소)이 새로운 BN 알고리즘의 추가를 어떻게 촉진할 수 있나요?
• RQ3 pgmpy가 확률 추론과 인과 추론 능력을 결합하는 면에서 다른 패키지들과 비교했을 때 범위가 어떻게 되나요?

주요 결과

• pgmpy는 이산 변수에 대한 구조 학습, 매개변수 학습, 확률 추론, 인과 추론, 및 시뮬레이션을 포함하는 포괄적인 BN 도구 세트를 제공하며, 연속/혼합 데이터에 대한 부분적 지원이 있습니다.
• 패키지는 순수-Python 구현과 추상 기반 클래스를 통해 모듈성 및 확장성에 중점을 두어 알고리즘 맞춤화 및 통합을 쉽게 만듭니다.
• 여러 CI 테스트와 점수 지표를 갖춘 PC 변형, HC, MMHC, Chow-Liu, TAN 등 다양한 구조 학습 접근법을 구현하고, 표준 CPT/CPD 추정 방법을 제공합니다.
• 추론은 VE(Exact) 및 BP를 지원하며, 계산 비용을 줄이기 위한 효율적인 제거 순서 전략을 제공합니다.
• 인과 추론은 IV 기반 추정 및 조정 집합 방법을 포함하며, 연속 및 이산 데이터 모두를 지원하고 필요에 따라 외부 통계 모델을 사용할 수 있습니다.
• 여러 BN 상호 교환 형식에 대한Export/Import 지원은 다른 도구와의 상호 운용성을 높여줍니다.