[論文レビュー] Pomegranate: fast and flexible probabilistic modeling in python

Jacob Schreiber|arXiv (Cornell University)|Oct 31, 2017

Machine Learning and Data Classification被引用数 52

ひとこと要約

Pomegranateは、混合モデル、HMM、ベイズネットワークなど、広範なモデルを統合するオープンソースのPythonパッケージで、訓練をモデル定義から抽象化する設計により、アウトオブコア、ミニバッチ、半教師あり学習、およびCythonベースのバックエンドを介した並列処理を可能にします。

ABSTRACT

We present pomegranate, an open source machine learning package for probabilistic modeling in Python. Probabilistic modeling encompasses a wide range of methods that explicitly describe uncertainty using probability distributions. Three widely used probabilistic models implemented in pomegranate are general mixture models, hidden Markov models, and Bayesian networks. A primary focus of pomegranate is to abstract away the complexities of training models from their definition. This allows users to focus on specifying the correct model for their application instead of being limited by their understanding of the underlying algorithms. An aspect of this focus involves the collection of additive sufficient statistics from data sets as a strategy for training models. This approach trivially enables many useful learning strategies, such as out-of-core learning, minibatch learning, and semi-supervised learning, without requiring the user to consider how to partition data or modify the algorithms to handle these tasks themselves. pomegranate is written in Cython to speed up calculations and releases the global interpreter lock to allow for built-in multithreaded parallelism, making it competitive with---or outperform---other implementations of similar algorithms. This paper presents an overview of the design choices in pomegranate, and how they have enabled complex features to be supported by simple code.

研究の動機と目的

• Pythonで柔軟でモジュール式の確率モデリングパッケージを提供し、一般的なモデル（混合、HMM、ベイズネットワーク）をサポートする。
• モデル仕様から訓練を抽象化して使いやすさを向上させ、アウトオブコア、ミニバッチ、および半教師あり学習などの機能を可能にする。
• 速度のためにCythonを活用し、マルチスレッド計算とGPU加速計算のためにGILを解放する。
• scikit-learnに似たAPIとの互換性を確保して、採用と既存ワークフローへの統合を容易にする。

提案手法

• 共通APIを持つ基本分布とコア確率モデル（混合、HMM、ベイズネットワーク）のライブラリを実装する。
• データの要約とパラメータ更新を分離するために加法的十分統計量を使用し、アウトオブコアと並列訓練を可能にする。
• ミニバッチと半教師あり学習をサポートするために、統計をバッチ間で蓄積するsummarizeとfrom_summariesメソッドを提供する。
• 計算を速くするためにCythonを活用してGILを解放し、線形代数にはBLASを使用し、オプションでGPU加速を可能にする。
• 使いやすさと迅速な実験のために、APIをscikit-learn（fit, from_samples, predict, probability）に合わせて設計する。

実験結果

リサーチクエスチョン

• RQ1 単一のPythonライブラリが、統一されたAPIで複数の確率モデリングパラダイム（混合、HMM、ベイズネットワーク）を効率的にサポートできるか。
• RQ2 十分統計量をパラメータ更新から分離することで、大規模データセットでのスケーラブルな訓練（アウトオブコア、ミニバッチ）と並列計算を実現できるか。
• RQ3 パフォーマンスと使い勝手は、複数のモデルにわたって既存のPython確率モデリングツール（例: hmmlearn、PyMC3、scikit-learn）と比べてどうか。
• RQ4 共通バックエンドを介して多変量分布のモデル全体でGPU加速を活用できるか。

主な発見

• 加法的十分統計量によりアウトオブコアとミニバッチ学習が自然にサポートされ、メモリ以上のデータセットでの訓練を可能にする。
• HMM、BayesおよびNaive Bayesモデルの半教師あり学習はEM-MLEハイブリッド方式で実現でき、ラベル付きデータとラベルなしデータの学習を改善する。
• Cythonによる並列とGIL解放により大幅な高速化を得られる：Gaussian Naive Bayes訓練は単一スレッドの約53秒から8スレッドで約17秒へ、hmmlearnよりHMM訓練は約25秒から4秒（4スレッド）または16スレッドで約2秒へ。
• GPU加速は利用可能な場合、2次元Gaussian mixturesなどで速度向上を提供し、CPU実行との差を報告されたタイミング差で示す。
• scikit-learnや他のライブラリと比較して、半教師あり実験（例: overlappedな100kサンプル、10次元、EMベースのNaive Bayes対収束しないラベル伝搬モデル）で有利な収束と速度を示す。