[論文レビュー] Composing inference algorithms as program transformations

Robert Zinkov, Chung-chieh Shan|arXiv (Cornell University)|Mar 6, 2016

Machine Learning and Algorithms参考文献 13被引用数 13

ひとこと要約

本稿では、確率的推論アルゴリズムをプログラム変換として組み立てるモジュラーなフレームワークを導入し、確率的モデルから正確かつ近似された推論手順を自動生成することを可能にする。推論を、ある確率的プログラム（例：モデルからサンプラーまたは密度計算機へ）を別の確率的プログラムに変換する操作として扱うことで、exact inference と MCMC や変分推論といった近似推論の組み合わせなど、複数の推論手法の合成を可能にし、WebPPL や JAGS といった最先端のシステムと同等の性能を達成する。

ABSTRACT

Probabilistic inference procedures are usually coded painstakingly from scratch, for each target model and each inference algorithm. We reduce this effort by generating inference procedures from models automatically. We make this code generation modular by decomposing inference algorithms into reusable program-to-program transformations. These transformations perform exact inference as well as generate probabilistic programs that compute expectations, densities, and MCMC samples. The resulting inference procedures are about as accurate and fast as other probabilistic programming systems on real-world problems.

研究の動機と目的

• 各モデルとアルゴリズムの組み合わせに対して、手作業で誤りを起こしやすい推論アルゴリズムを再実装する作業を削減すること。
• 同じモデルに対して、exact 推論と近似推論といった複数の推論手法を、コードの再書き換えなしに合成できること。
• 推論を確率的プログラムを別の確率的プログラムに変換する操作として表現することで、モジュラーで合成可能な推論を実現すること。
• 変換の合成を通じて既存の推論実装を再利用し、新しい推論パイプラインを構築できること。
• モジュラリティと形式的な合成性を維持しつつ、既存の確率的プログラミングシステムと同等の性能を達成すること。

提案手法

• 確率的モデルを確率的プログラムとして表現し、推論をこれらのプログラム上の変換として表現すること。
• disintegration や expectation などのプログラム間変換を用いて、特定の推論タスクを実装する新しいプログラムを生成すること。
• 複数の推論手法の合成を順次変換を適用することで実現し、例えばモデルの一部に対して exact inference を、別の一部に対して MCMC を適用すること。
• 密度の計算、条件付き分布の計算、MCMC サンプラーの生成といった変換を、決定的依存関係が存在する場合でも可能にすること。
• 簡略化やループ展開を用いて最適化されたコードを生成し、大規模データセットでも効率的に実行できること。
• 形式的同等性（例：共役性）を活用して、近似推論と exact 推論の手法を合成すること。

実験結果

リサーチクエスチョン

• RQ1 確率的プログラムの変換によって、再実装ではなく体系的に推論アルゴリズムを合成できるか？
• RQ2 同じモデルに対して、一様なプログラム変換インターフェースを用いて exact と近似推論を合成できるか？
• RQ3 プログラム変換によって、WebPPL や JAGS のような手で最適化されたシステムと同等の性能を達成する推論手順を生成できるか？
• RQ4 推論変換の過程で、決定的依存関係や複雑なモデル構造をどの程度適切に処理できるか？
• RQ5 再利用可能な変換コンポONENTを用いて、モジュラーで合成可能な推論パイプラインを構築できるか？

主な発見

• 本システムは、実世界の問題において、他の確率的プログラミングシステムと同等の正確さと速度を達成する推論手順を生成した。
• カルマンフィルタリングタスクにおいて、Hakaru サンプラーは WebPPL よりも高い有効サンプルサイズ（ESS）を達成し、より高いサンプリング効率を示した。
• ガウス混合モデルの設定では、Hakaru は1スイープで50%以上の精度を達成したが、JAGS のチェインは数スイープを要してようやく追いついた。
• 20 Newsgroups コーパスにおけるドキュメント分類タスクでは、Hakaru のコラプセッドギブスサンプラーは1スイープ後にもかかわらず JAGS を上回り、データサイズが変化しても優位性を維持した。
• Hakaru の初期化時間はデータサイズに依存せず一定であったが、JAGS の初期化時間はデータサイズに比例して増加したため、Hakaru は大規模データセットに対してよりスケーラブルであった。
• JAGS よりも約1桁遅いサンプリング速度であったが、Hakaru の性能は実用的かつ競争力があり、計算の再利用と最適化コード生成の能力を考慮すれば特に顕著であった。