[논문 리뷰] Pymc-learn: Practical Probabilistic Machine Learning in Python

Daniel Emaasit|arXiv (Cornell University)|2018. 10. 31.

Machine Learning and Algorithms참고 문헌 2인용 수 5

한 줄 요약

Pymc-learn는 PyMC3를 기반으로 하여 최신의 확률적 모델을 위한 scikit-learn 호환 API를 제공함으로써 비전문가에게 확률적 기계학습을 제공하는 파이썬 라이브러리입니다. 베이지안 추론을 위해 변분 추론(ADVI)과 MCMC(NUTS)를 지원하며, 모델 피팅, 예측, 평가, 지속성 등의 작업을 원활하게 통합하여 사용성과 고성능을 유지합니다.

ABSTRACT

$ extit{Pymc-learn}$ is a Python package providing a variety of state-of-the-art probabilistic models for supervised and unsupervised machine learning. It is inspired by $ extit{scikit-learn}$ and focuses on bringing probabilistic machine learning to non-specialists. It uses a general-purpose high-level language that mimics $ extit{scikit-learn}$. Emphasis is put on ease of use, productivity, flexibility, performance, documentation, and an API consistent with $ extit{scikit-learn}$. It depends on $ extit{scikit-learn}$ and $ extit{pymc3}$ and is distributed under the new BSD-3 license, encouraging its use in both academia and industry. Source code, binaries, and documentation are available on http://github.com/pymc-learn/pymc-learn.

연구 동기 및 목표

• 과학적 및 산업 분야의 비전문가들이 확률적 기계학습을 보다 쉽게 접근할 수 있도록 격차를 메우는 것.
• 사용자 친화적이고 scikit-learn를 모델로 삼은 API를 제공하여 확률적 모델의 접근성과 생산성을 향상시키는 것.
• PyMC3를 추론 백엔드로 사용하여 모델 피팅, 예측, 평가, 지속성까지 포함된 종단 간 베이지안 워크플로우를 가능하게 하는 것.
• GPU 가속 텐서 연산과 미니배치 추론을 통해 고차원 및 대규모 모델을 지원하는 것.
• 오픈소스 개발과 포괄적인 문서를 통해 학술계와 산업계에서의 보급을 촉진하는 것.

제안 방법

• 라이브러리는 PyMC3를 기반으로 한 추론 엔진을 사용하여 확률적 모델을 구현하며, 그 확률적 프로그래밍 기능을 활용합니다.
• 확장성 있고 효율적인 사후 분포 근사에 주로 변분 추론(ADVI)을 사용합니다.
• 모델 피팅은 fit 메서드를 통해 수행되며, 설정에 따라 ADVI 또는 MCMC(NUTS)를 사용하여 사후 분포를 추정합니다.
• API는 scikit-learn의 추정기 인터페이스를 모방하여 일관성 있고 사용하기 쉬운 fit, predict, score, save, load 메서드를 지원합니다.
• ELBO 추적 및 트레이스플롯 시각화와 같은 수렴 진단 도구는 ArviZ 및 PyMC3의 내장 도구와의 통합을 통해 제공됩니다.
• save 및 load 메서드를 통한 모델 지속성이 지원되어 생산 환경에서의 배포가 가능합니다.

실험 결과

연구 질문

• RQ1 scikit-learn를 모델로 삼은 인터페이스가 비전문가가 확률적 기계학습을 사용할 수 있도록 진입 장벽을 효과적으로 낮출 수 있는가?
• RQ2 PyMC3와 scikit-learn 유사 인터페이스를 통합함으로써 실제 데이터셋에서 확장 가능한 베이지안 추론을 얼마나 잘 지원할 수 있는가?
• RQ3 통합된 고수준 인터페이스에서 ADVI와 NUTS를 사용할 때 성능과 정확도를 어느 정도 유지할 수 있는가?
• RQ4 라이브러리의 설계는 수렴 모니터링 및 사후 분포 시각화와 같은 모델 진단을 어떻게 지원하는가?
• RQ5 API 일관성과 확장성을 유지하면서도 다양한 지도 및 비지도 확률적 모델을 지원할 수 있는가?

주요 결과

• Pymc-learn는 확률적 모델에 대해 scikit-learn 호환 인터페이스를 성공적으로 제공하여 비전문가가 최소한의 학습 부담으로 베이지안 방법을 사용할 수 있도록 했습니다.
• PyMC3와의 통합을 통해 사용자는 저수준의 확률적 코드를 작성하지 않고도 고급 추론 기법인 ADVI와 NUTS를 활용할 수 있습니다.
• 모델 피팅, 예측, 평가 워크플로우는 scikit-learn와 기능적으로 동일하므로 코드의 이식성과 재사용이 원활합니다.
• save 및 load 메서드를 통한 모델 지속성이 지원되어 생산 파이프라인에의 배포가 가능합니다.
• ArviZ 및 PyMC3의 진단 도구와의 내장 통합 덕분에 사용자는 ELBO 플롯과 트레이스플롯을 통해 수렴 상태를 진단할 수 있습니다.
• ADVI에서 GPU 가속 텐서 연산과 미니배치 추론을 통해 고차원 및 대규모 데이터셋에서도 확장성이 확보됩니다.