[論文レビュー] InferSpark: Statistical Inference at Scale

Zhuoyue Zhao, Jialing Pei+3 more|arXiv (Cornell University)|Jul 7, 2017

Advanced Database Systems and Queries参考文献 18被引用数 3

ひとこと要約

InferSpark は Apache Spark 上に構築された確率的プログラミングフレームワークであり、カスタムベイジアンモデル向けにスケーラブルな統計的推論を可能にする。Scala を拡張してドメイン固有の構文を導入し、モデルを簡潔に定義可能にし、分散推論コードにコンパイルする。Spark のメモリ内処理を活用することで大規模な推論を高速化し、LDA に対して手動で実装した実装と比較してコードサイズを 70 倍も削減することを実証した。

ABSTRACT

The Apache Spark stack has enabled fast large-scale data processing. Despite a rich library of statistical models and inference algorithms, it does not give domain users the ability to develop their own models. The emergence of probabilistic programming languages has showed the promise of developing sophisticated probabilistic models in a succinct and programmatic way. These frameworks have the potential of automatically generating inference algorithms for the user defined models and answering various statistical queries about the model. It is a perfect time to unite these two great directions to produce a programmable big data analysis framework. We thus propose, InferSpark, a probabilistic programming framework on top of Apache Spark. Efficient statistical inference can be easily implemented on this framework and inference process can leverage the distributed main memory processing power of Spark. This framework makes statistical inference on big data possible and speed up the penetration of probabilistic programming into the data engineering domain.

研究の動機と目的

• Apache Spark のようなスケーラブルなビッグデータフレームワークにおいて、カスタム統計的モデル開発のサポートが不足している問題に対処する。
• 既存の確率的プログラミングフレームワーク（例：Infer.NET、Church、Figaro）が大規模データセットや分散環境にスケーリングできないという制限を克服する。
• データサイエンティストや統計学者が、低レベルの分散推論アルゴリズムを手動で実装することなく、簡潔でプログラム的な方法で複雑なベイジアンモデルを定義できるようにする。
• 確率的プログラミングの表現力と Spark の分散コンピューティングパワーを統合し、スケーラブルな統計的推論を一般化する。

提案手法

• 確率的プログラミング構文を Scala に拡張し、分布や条件付き依存関係のためのドメイン固有の構文を用いて直感的なモデル定義を可能にする。
• ユーザーが定義したモデルを最適化された Spark 互換の Scala クラスおよびオブジェクトにコンパイルし、推論アルゴリズムをカプセル化する。
• 高レベルのモデル定義を Spark の RDD および Dataset API を用いた分散推論パイプラインに変換するコンパイラおよびランタイムシステムを実装する。
• 指数分布族の共役モデル（例：ディリクレ事前分布を用いた LDA）において、効率的な推論のための変分メッセージパッシング（VMP）を活用する。
• 観測データを入力し、モデルの事後分布や期待値を照会できる洗練された API を提供する。
• 将来の拡張性を考慮し、非共役事前分布、他の推論アルゴリズム（例：ギブスサンプリング）、およびプラグインベースの推論実装をサポートするようにフレームワークを設計する。

実験結果

リサーチクエスチョン

• RQ1 確率的プログラミングは、Apache Spark のような分散ビッグデータプラットフォームに効果的に統合可能であり、スケーラブルな統計的推論を可能にするか？
• RQ2 一般用途の言語（例：Scala）におけるドメイン固有言語拡張を用いることで、モデル定義はどの程度簡素化可能か？
• RQ3 LDA などの標準モデルに対して、InferSpark のパフォーマンスおよびコードの複雑さは、MLlib のような既存のライブラリの最適化実装と比較してどの程度か？
• RQ4 フレームワークは、指数分布族の共役モデルを超える複雑なベイジアンネットワークに対しても、効率的な分散推論をサポートできるか？

主な発見

• InferSpark を用いることで、LDA モデルは Scala でたった 7 行のコードで定義可能であり、MLlib での実装と比較して 503 行にまで減少し、実装の複雑さが顕著に軽減された。
• Spark の分散メモリ計算を活用することで、InferSpark は大規模データセットへの統計的推論をスケーリング可能であり、Infer.NET のような単一マシンの確率的フレームワークのメモリ制限を克服した。
• 実験的評価により、InferSpark は推論時間およびメモリ使用量がデータサイズおよびモデルの複雑さに比例して効率的に動作することを確認した。
• プロトタイプは、指数分布族の共役モデルに対する変分メッセージパッシング（VMP）をサポートしており、高速でスケーラブルな事後分布推定を可能にした。
• システムは拡張性を考慮して設計されており、非共役事前分布、マークフ・ネットワーク、およびギブスサンプリングなどの代替推論アルゴリズムのサポートを計画している。
• InferSpark は、低レベルの分散システムプログラミングを必要とせずに、統計学者やデータサイエンティストがスケールアップしてカスタムベイジアンモデルを構築・実験できる道を開いた。