[論文レビュー] Inference Compilation and Universal Probabilistic Programming

Tuan Le, Atılım Güneş Baydin+1 more|arXiv (Cornell University)|Oct 31, 2016

Bayesian Modeling and Causal Inference被引用数 33

ひとこと要約

この論文は、普遍的確率的プログラミングにおける推論コンパイラーを紹介し、深層ニューラルネットワークを順次重要度サンプリングのための提案分布として学習させることで、複雑な生成モデルにおける高速な近似推論を可能にする。この手法は、確率的プログラムをニューラルアーキテクチャにコンパイルし、適応的に提案を生成する。混合モデルやキャプチャ解読タスクにおいて、モデルの再訓練を必要とせず、顕著な高速化を達成する。

ABSTRACT

We introduce a method for using deep neural networks to amortize the cost of inference in models from the family induced by universal probabilistic programming languages, establishing a framework that combines the strengths of probabilistic programming and deep learning methods. We call what we do "compilation of inference" because our method transforms a denotational specification of an inference problem in the form of a probabilistic program written in a universal programming language into a trained neural network denoted in a neural network specification language. When at test time this neural network is fed observational data and executed, it performs approximate inference in the original model specified by the probabilistic program. Our training objective and learning procedure are designed to allow the trained neural network to be used as a proposal distribution in a sequential importance sampling inference engine. We illustrate our method on mixture models and Captcha solving and show significant speedups in the efficiency of inference.

研究の動機と目的

• 普遍的確率的プログラミング言語における推論の高い計算コストを、深層ニューラルネットワークを用いてアモアタイズすることにより解決すること。
• モデルの逆転を必要とせず、任意の確率的プログラムの構造に適合したニューラル提案ネットワークを生成する手法を開発すること。
• 生成モデルから無限の合成データストリームを学習させることで、効率的かつスケーラブルな推論を実現すること。
• 深層学習推論の高速性を維持しながら、生成モデルの解釈可能性を保つこと。
• 普遍的確率的プログラミングの表現力とニューラルネットワーク推論の効率性を統合するフレームワークを提供すること。

提案手法

• この手法は、LSTMコア、観測変数のための埋め込み層、および潜在変数のための提案層を備えたニューラルアーキテクチャに確率的プログラムをコンパイルする。
• 合成データの無限ストリームを確率的プログラムからサンプリングし、そのストリームを用いてニューラルネットワークをエンドツーエンドで学習する。
• 推論の際には、学習済みネットワークが順次重要度サンプリングで使用する提案分布 $ q(\mathbf{x}|\mathbf{y};\phi) $ をパrameterizeする。
• 観測埋め込みは、プログラムのトレースごとにカスタマイズ可能なニューラルネットワークで処理され、全タイムステップにわたって入力するか、最初のステップでのみ入力するオプションがある。
• 各実行トレースごとにアーキテクチャを即座に再構成することで、変動するプログラム構造に適応する。
• 学習目的は、提案ネットワークが真の事後分布を近似し、重要度重みの分散を最小化することを保証する。

実験結果

リサーチクエスチョン

• RQ1 任意の普遍的確率的プログラミングプログラムにおいて、順次重要度サンプリングのための効果的な提案分布としてのニューラルネットワークを学習可能か？
• RQ2 モデルの逆転を必要とせず、与えられた確率的プログラムの構造に自動的に適応するニューラルアーキテクチャの構築方法は何か？
• RQ3 観測埋め込み戦略（例：単一入力対再帰的入力）の違いが、学習効率と性能に与える影響は何か？
• RQ4 このフレームワークは、混合モデルやキャプチャなど複雑なモデルにおいて、顕著な高速化を達成できるか？
• RQ5 生成モデルが真のデータ分布と完全に一致しない場合、この手法はどの程度のロバストネスを示すか？

主な発見

• この手法は、混合モデルとキャプチャ解読タスクの両方で、学習済みニューラル提案ネットワークによる推論のアモアタイズによって顕著な推論効率の向上を達成した。
• 観測埋め込みを最初のタイムステップでのみ入力した場合、全ステップにわたって入力する場合と同等の性能を示したが、学習が約3倍遅くなった。
• このアプローチは、観測空間から潜在空間への非線形事後分布近似を効果的に学習でき、複雑なモデルにおける正確な推論を可能にした。
• モデルの誤設定に対してある程度のロバストネスを示したが、生成モデルの事前分布が現実のデータ分布と一致しない場合、性能が低下し、手動での調整が必要になった。
• ニューラルアーキテクチャは実行トレースごとに効果的に再構成可能であり、多様なプログラム構造の動的処理を可能にした。
• 無限の合成データストリームに依存することで、訓練データへの過学習を回避したが、生成モデルが狭いかキャリブレーションが不十分な場合、モデル誤設定のリスクは依然として残っている。