[論文レビュー] Edward: A library for probabilistic modeling, inference, and criticism

Dustin Tran, Alp Kucukelbir+4 more|arXiv (Cornell University)|Oct 31, 2016

Machine Learning and Data Classification参考文献 1被引用数 221

ひとこと要約

Edwardは、広範な確率モデルとアルゴリズムに対して反復的な確率モデリング、スケーラブルな推論、モデル批判を可能にするTensorFlowベースのライブラリです。

ABSTRACT

Probabilistic modeling is a powerful approach for analyzing empirical information. We describe Edward, a library for probabilistic modeling. Edward's design reflects an iterative process pioneered by George Box: build a model of a phenomenon, make inferences about the model given data, and criticize the model's fit to the data. Edward supports a broad class of probabilistic models, efficient algorithms for inference, and many techniques for model criticism. The library builds on top of TensorFlow to support distributed training and hardware such as GPUs. Edward enables the development of complex probabilistic models and their algorithms at a massive scale.

研究の動機と目的

• 広範な確率モデルを定義するための柔軟なランダム変数言語を提供する（有向グラフ、ニューラルネットワーク、非パラメトリック、確率的プログラム）。
• スケーラブルな推論アルゴリズム（変分推論、モンテカルロ、HMC、Langevinダイナミクス）と新しいアルゴリズムを開発するためのフレームワークを提供する。
• モデルを評価し反復するためのモデル批判ツール（スコアリング規則、予測検査）を組み込む。
• GPU/分散計算と自動微分のためにTensorFlowと統合する。
• 標準的な統計学・機械学習タスク（例：ベイズ線形回帰、分類）でエンドツーエンドのワークフローを実証する。

提案手法

• Edwardは、ランダム変数を組み合わせることでモデルを構築する（有向グラフィカルモデル、確率的ニューラルネットワーク、確率的プログラム）。
• 推論はモジュール式クラスとして実装されており（例：Variational Inference、Monte Carlo、exact inference）、ブラックボックス法とモデル固有法の両方をサポートします。
• システムはデータ入力モード（事前ロード、フィード、ファイル読み取り）を有効にし、モデルパラメータと条件付き推論をサポートします。
• 批判は予測検査とスコアリング規則を用いてモデル適合度を評価し、改訂を導きます。
• EdwardはTensorFlow上で動作し、GPU、分散トレーニング、自動微分を活用します。
• カスタムランダム変数と組み合わせ推論をサポートし、ハイブリッドおよびメッセージパッシングアルゴリズムを含みます。

実験結果

リサーチクエスチョン

• RQ1 統一されたソフトウェアフレームワーク内で、確率モデルをどのように表現・推論・批評できるか。
• RQ2 Edwardの多様なモデルファミリにおいて、どの推論アルゴリズム（変分、モンテカルロ、厳密推論）が有効か。
• RQ3 モデルと推論の柔軟な組み合わせが大規模な迅速な実験をどのように促進できるか。
• RQ4 確率プログラムの確率的制御フローを備えた設計上の選択が、大規模データで効率的に訓練するのをどう可能にするか。
• RQ5 モデル批判を反復的なBoxループに統合してモデルの改訂を促すにはどうするか。

主な発見

• Edwardは、有向グラフ、ニューラルネットワーク、ベイズ非パラメトリック、確率的プログラムを可能にする、幅広いランダム変数の言語を提供します。
• モジュラーな推論フレームワークは、変分推論、モンテカルロ、厳密法をサポートし、ハイブリッドおよびメッセージパッシングアルゴリズムを含みます。
• ライブラリは組成性を重視し、複雑な事後分布に対して条件付き推論とハイブリッド推論ワークフローを可能にします。
• EdwardはTensorFlow上で実装されており、GPU加速、分散トレーニング、自動微分を実現します。
• 本論文は、ワークフローを説明するためのエンドツーエンドの例として、ベイズ線形回帰やニューラルネットワーク分類などを示しています。
• Edwardはカスタムランダム変数と確率的制御フローをサポートし、動的計算グラフをモデリングします。