[論文レビュー] Toward General Analysis of Recursive Probability Models

Daniel J. Pless, George F. Luger|arXiv (Cornell University)|Jan 10, 2013

Bayesian Modeling and Causal Inference参考文献 19被引用数 17

ひとこと要約

本稿は、再帰的確率モデルの一般化された解析を可能にするために、de Bruijn記法を用いたラムダ計算へのチューリング完全な拡張を提案する。正確な推論アルゴリズムを導入し、名前なしダミーが効果的なキャッシュを可能にすることを示し、確率的モデリング言語における効率的な計算と近似を実現する。

ABSTRACT

There is increasing interest within the research community in the design and use of recursive probability models. Although there still remains concern about computational complexity costs and the fact that computing exact solutions can be intractable for many nonrecursive models and impossible in the general case for recursive problems, several research groups are actively developing computational techniques for recursive stochastic languages. We have developed an extension to the traditional lambda-calculus as a framework for families of Turing complete stochastic languages. We have also developed a class of exact inference algorithms based on the traditional reductions of the lambda-calculus. We further propose that using the deBruijn notation (a lambda-calculus notation with nameless dummies) supports effective caching in such systems (caching being an essential component of efficient computation). Finally, our extension to the lambda-calculus offers a foundation and general theory for the construction of recursive stochastic modeling languages as well as promise for effective caching and efficient approximation algorithms for inference.

研究の動機と目的

• 再帰的確率モデルにおける正確な推論の計算的非効率性に対処する。
• 再帰性とチューリング完全性をサポートする、確率的言語の一般フレームワークを構築する。
• 再帰的確率的システムにおける効果的なキャッシュ機構を通じて、効率的な計算を実現する。
• 再帰的確率的モデリング言語の構築と分析の理論的基盤を提供する。
• 複雑な再帰的モデルにおける推論の近似アルゴリズムの開発を支援する。

提案手法

• チューリング完全性を達成するために、確率的計算のための構文をラムダ計算に拡張する。
• ラムダ項の表現に de Bruijn 記法（名前なしダミー）を用い、効率的な項比較とキャッシュを可能にする。
• 標準的なラムダ計算の還元に基づく正確な推論アルゴリズムを設計する。
• de Bruijn 項の構造を活用して、中間計算結果のメモ化とキャッシュを実現する。
• 拡張ラムダ計算に裏打ちされた一般理論を形式化し、再帰的確率的言語を統一的に扱う。
• 既存の確率的推論技術と統合し、正確かつ近似推論の両方をサポートするフレームワークを構築する。

実験結果

リサーチクエスチョン

• RQ1 再帰的確率モデルに完全なチューリング完全性を備えた一般用途のフレームワークをどのように設計できるか。
• RQ2 de Bruijn 記法は、確率的計算における効率的なキャッシュと最適化にどのような役割を果たすか。
• RQ3 拡張ラムダ計算における還元から、正確な推論アルゴリズムを体系的に導出できるか。
• RQ4 提案されたフレームワークは、再帰的確率的モデルにおける正確および近似推論をどのようにサポートできるか。
• RQ5 再帰的確率的モデリング言語の設計を統一する理論的基盤は何か。

主な発見

• 拡張ラムダ計算は、再帰的確率的言語のチューリング完全な基盤を提供する。
• de Bruijn 記法により、項の正規表現が可能になり、冗長な計算を低減する有効なキャッシュが実現される。
• 正確な推論アルゴリズムは、標準的なラムダ計算の還元から導出可能であり、正しさが保証される。
• このフレームワークは、一般用途の再帰的確率的モデリング言語の構築を可能にする。
• 最適化されたキャッシュと項表現を通じて、効率的な近似アルゴリズムの実現が可能になる。
• 構造的な計算と最適化を通じて、非効率な推論問題の処理が可能であることが実証された。