[論文レビュー] SPFlow: An Easy and Extensible Library for Deep Probabilistic Learning using Sum-Product Networks

Alejandro Molina, Antonio Vergari+6 more|arXiv (Cornell University)|Jan 11, 2019

Bayesian Modeling and Causal Inference参考文献 8被引用数 32

ひとこと要約

SPFlow は、効率的な推論と学習を備えた、柔軟で拡張可能な Sum-Product Networks (SPN) の構築・学習・デプロイを可能にするオープンソースの Python ライブラリです。ユーザーはドメイン固有言語 (DSL) を用いて SPN を定義でき、正確な確率的推論（周辺分布、MPE、サンプリング）、TensorFlow を用いたパラメータ学習をサポートしており、関数型 API を通じてカスタム分布や操作の拡張が可能です。

ABSTRACT

We introduce SPFlow, an open-source Python library providing a simple interface to inference, learning and manipulation routines for deep and tractable probabilistic models called Sum-Product Networks (SPNs). The library allows one to quickly create SPNs both from data and through a domain specific language (DSL). It efficiently implements several probabilistic inference routines like computing marginals, conditionals and (approximate) most probable explanations (MPEs) along with sampling as well as utilities for serializing, plotting and structure statistics on an SPN. Moreover, many of the algorithms proposed in the literature to learn the structure and parameters of SPNs are readily available in SPFlow. Furthermore, SPFlow is extremely extensible and customizable, allowing users to promptly distill new inference and learning routines by injecting custom code into a lightweight functional-oriented API framework. This is achieved in SPFlow by keeping an internal Python representation of the graph structure that also enables practical compilation of an SPN into a TensorFlow graph, C, CUDA or FPGA custom code, significantly speeding-up computations.

研究の動機と目的

• 確率的機械学習における Sum-Product Networks (SPN) の構築およびデプロイを容易にするユーザーフレンドリーで拡張性のあるライブラリを提供すること。
• TensorFlow および最適化されたバックエンドを用いて、効率的な正確な推論（周辺分布、MPE、サンプリング）とパラメータ学習を可能にすること。
• ドメイン固有言語 (DSL) およびカスタマイズ可能な学習アルゴリズムを用いて、データ駆動型および構造的 SPN の両方の構築を可能にすること。
• 軽量な関数型 API を通じて新しいノードタイプや操作をシームレスに統合できるようにし、拡張性を高めること。
• TensorFlow、C、CUDA、FPGA コードへのコンパイルを介して、高性能なデプロイを可能にすること。

提案手法

• SPFlow は、実行時における操作を可能にする Python ベースの内部表現を用いて、ノード（和、積、リーフ）のグラフとして SPN をモデル化する。
• 推論および学習操作をグラフ構造上のラムダ関数としてカプセル化する関数型 API を使用する。
• 算術式（例：0.4 * (Categorical(...) + 0.6 * ...)) を用いた DSL を通じて、直感的な SPN の構築が可能である。
• 自動微分および最適化ルーチンを備えた TensorFlow を用いて、パラメータ学習を可能にする。
• 尤度関数を定義し、add_node_likelihood を介して登録することで、カスタムのリーフ分布（例：パレート分布）を追加可能である。
• SPN は TensorFlow グラフ、C コード、CUDA/FPGA コードにコンパイル可能であり、高性能な推論が可能である。

実験結果

リサーチクエスチョン

• RQ1 標準的および新しい SPN の推論および学習操作をサポートする柔軟で拡張性のあるライブラリをどのように設計できるか？
• RQ2 Python 上のドメイン固有言語 (DSL) は、計算効率を維持したまま、直感的な SPN の構築を可能にするか？
• RQ3 SPFlow は、多様な SPN アーキテクチャにおいて、正確な確率的推論（周辺分布、MPE、サンプリング）およびパラメータ学習をどの程度効率的にサポートできるか？
• RQ4 コアコンponents を変更せずに、新しい分布や操作を SPFlow にどの程度拡張できるか？
• RQ5 SPFlow は、C、CUDA、FPGA の低レベルコードへのコンパイルを通じて、高性能なデプロイを可能にするか？

主な発見

• SPFlow は、洗練された読みやすい DSL を用いて SPN を構築でき、最小限のコードで複雑な SPN 構造を定義可能である。
• 周辺尤度、MPE、祖先サンプリングを含む効率的な正確な推論が、異なる SPN 構造において一貫したパフォーマンスで実現されている。
• TensorFlow を用いたパラメータ学習により顕著な尤度の向上が達成され、最適化後、テストデータにおける対数尤度が -1.91 から -1.38 に改善された。
• 関数型 API を用いてパレート分布などのカスタム分布をシームレスに統合でき、テスト入力における正しい尤度計算が検証された。
• SPFlow は、SPN を TensorFlow グラフおよび低レベルコード（C、CUDA、FPGA）にコンパイルでき、高性能な推論が可能である。
• ライブラリの拡張性により、PyMC や Pyro などの外部ツールとの統合が可能となり、エコシステムの可能性が拡張された。