[論文レビュー] Pymc-learn: Practical Probabilistic Machine Learning in Python

Daniel Emaasit|arXiv (Cornell University)|Oct 31, 2018

Machine Learning and Algorithms参考文献 2被引用数 5

ひとこと要約

Pymc-learn は、最新の確率的モデル用に、scikit-learn と互換性のある API を提供することで、非専門家にも確率的機械学習を容易に利用できるようにする Python ライブラリです。PyMC3 を基盤としており、変分ベイズ推論（ADVI）および MCMC（NUTS）によるベイズ推論を可能にし、モデルのフィッティング、予測、評価、永続化をシームレスに統合しています。使いやすさと高いパフォーマンスを両立しています。

ABSTRACT

$ extit{Pymc-learn}$ is a Python package providing a variety of state-of-the-art probabilistic models for supervised and unsupervised machine learning. It is inspired by $ extit{scikit-learn}$ and focuses on bringing probabilistic machine learning to non-specialists. It uses a general-purpose high-level language that mimics $ extit{scikit-learn}$. Emphasis is put on ease of use, productivity, flexibility, performance, documentation, and an API consistent with $ extit{scikit-learn}$. It depends on $ extit{scikit-learn}$ and $ extit{pymc3}$ and is distributed under the new BSD-3 license, encouraging its use in both academia and industry. Source code, binaries, and documentation are available on http://github.com/pymc-learn/pymc-learn.

研究の動機と目的

• 科学的・産業的分野における確率的機械学習と非専門家との間のギャップを埋めること。
• 確率的モデルの使いやすさと生産性を向上させるために、scikit-learn を模したユーザーフレンドリーな API を提供すること。
• PyMC3 を推論バックエンドとして使用し、モデルのフィッティング、予測、評価、永続化を含むエンドツーエンドのベイズワークフローを可能にすること。
• GPU によるテンソル計算とミニバッチ推論を活用して、高次元および大規模なモデルをサポートすること。
• オープンソース開発と包括的なドキュメンテーションを通じて、学術界および産業界での採用を促進すること。

提案手法

• ライブラリは、確率的プログラミングの機能を活用した、PyMC3 を推論エンジンとして使用して確率的モデルを実装しています。
• スケーラブルで効率的な後方分布の近似を実現するため、自動微分による変分推論（ADVI）を主な推論手法として採用しています。
• モデルのフィッティングは、設定に応じて ADVI または MCMC（NUTS）を使用して後方分布を推定する fit メソッドによって実行されます。
• API は scikit-learn の推定器インターフェースを模倣しており、一貫性と使いやすさを実現するため、fit、predict、score、save、load メソッドをサポートしています。
• 収束診断として、ELBO の追跡と traceplot の可視化が、ArviZ および PyMC3 の組み込みツールとの統合を通じて提供されています。
• モデルの永続化は save および load メソッドによりサポートされており、本番環境でのデプロイが可能になっています。

実験結果

リサーチクエスチョン

• RQ1 scikit-learn を模した API は、確率的機械学習を非専門家が使用する際の障壁を効果的に低減できるか？
• RQ2 PyMC3 を scikit-learn 的なインターフェースと統合することで、実世界のデータセットにおけるスケーラブルなベイズ推論をどの程度効果的にサポートできるか？
• RQ3 統一的で高水準な API 内で ADVI と NUTS を使用することで、確率的モデリングにおけるパフォーマンスと正確性の両立がどの程度維持できるか？
• RQ4 ライブラリの設計は、収束モニタリングや後方分布の可視化といったモデル診断をどの程度容易にするか？
• RQ5 API の一貫性と拡張性を保ちながら、教師ありおよび教師なしの広範な確率的モデルをサポートできるか？

主な発見

• Pymc-learn は確率的モデルのための scikit-learn と互換性のあるインターフェースを効果的に提供しており、非専門家が最小限の学習コストでベイズ手法を利用できるようになっています。
• PyMC3 との統合により、ユーザーは低レベルの確率的コードを書かずに、ADVI や NUTS といった高度な推論技術を利用できます。
• モデルのフィッティング、予測、評価のワークフローは、scikit-learn と機能的に同等であり、コードの移行や再利用がスムーズに行えます。
• save および load メソッドによるモデルの永続化が可能であり、本番パイプラインへのデプロイを容易にしています。
• ArviZ および PyMC3 の診断ツールとのネイティブ統合により、ELBO プロットや traceplot を用いた収束診断が可能になっています。
• ADVI における GPU によるテンソル演算とミニバッチ推論により、高次元および大規模なデータセットへのスケーリングが実現されています。