[論文レビュー] Efficient Inference in Large Discrete Domains

Rita Sharma, David Poole|arXiv (Cornell University)|Oct 19, 2012

Bayesian Modeling and Causal Inference参考文献 12被引用数 7

ひとこと要約

本稿では、名前や郵便番号、クレジットカード番号の識別など、非常に大きなまたは無限大の離散的ドメインを有するベイジアンネットワークにおける推論アルゴリズムを提示する。条件付き確率と中間要因を、意図的（手続き的）表現によってコンパクトに符号化することで、明示的な列挙を避け、メモリと計算コストを顕著に削減する。

ABSTRACT

In this paper we examine the problem of inference in Bayesian Networks with discrete random variables that have very large or even unbounded domains. For example, in a domain where we are trying to identify a person, we may have variables that have as domains, the set of all names, the set of all postal codes, or the set of all credit card numbers. We cannot just have big tables of the conditional probabilities, but need compact representations. We provide an inference algorithm, based on variable elimination, for belief networks containing both large domain and normal discrete random variables. We use intensional (i.e., in terms of procedures) and extensional (in terms of listing the elements) representations of conditional probabilities and of the intermediate factors.

研究の動機と目的

• 名前やクレジットカード番号のような非常に大きなまたは無限大のドメインを有する離散的確率変数を扱うベイジアンネットワークにおける推論の課題に対処すること。
• ドメインサイズの増大に伴い指数関数的にサイズが増大するため、従来のテーブルベース表現が非現実的になるという制限を克服すること。
• 正確性を維持しながら、メモリと計算オーバーヘッドを削減するスケーラブルな推論アルゴリズムを開発すること。
• 条件付き確率分布と中間要因の両方の表現として、意図的表現と拡張的表現を統合し、コンパクトさと効率性のバランスを図ること。
• ドメイン固有の近似を必要とせずに、高基数の離散的変数を含む実世界の応用における実用的推論を可能にすること。

提案手法

• 完全なテーブルを格納する代わりに、条件付き確率分布（CPD）を定義するために意図的表現（手続きまたは関数）を用いる。
• 変数消去をコアの推論エンジンとして採用するが、意図的CPDおよび中間要因を処理できるように拡張する。
• 空間的・時間的最適化を図るため、中間要因を拡張的（明示的なリスト）および意図的（手続き的）形式の両方で表現する。
• 変数消去の過程で、確率テーブルの完全な列挙を避けるために、CPDおよび要因をオンデマンドで動的に評価する。
• 大規模ドメインおよび標準的な離散的変数を併せ持つハイブリッドネットワークを、統一的な推論フレームワーク内で扱えるようにする。
• 消去の過程でCPDを関数的に評価することで、大きなテーブルを事前に計算・格納することなく、周辺確率を効率的に計算する。

実験結果

リサーチクエスチョン

• RQ1 非常に大きなまたは無限大のドメインを有する離散的変数を扱う場合、ベイジアンネットワークの推論をどのようにスケーラブルにできるか。
• RQ2 高基数の変数の条件付き確率分布を、推論の正確性を損なわずにコンパクトに符号化する表現技術は何か。
• RQ3 変数消去を、CPDおよび中間要因の意図的表現に対し、効果的に拡張できるか。
• RQ4 推論において、手続き的表現とテーブル表現の間で、メモリ使用量と計算効率のトレードオフはどのようなものか。
• RQ5 実世界の高基数変数を含む問題において、本手法は従来のテーブルベース推論と比較してどのように性能を発揮するか。

主な発見

• 本手法により、確率テーブルの明示的列挙を避けることで、非常に大きなまたは無限大の離散的ドメインを有するベイジアンネットワークにおける効率的推論が可能になる。
• 意図的表現を用いることで、名前やクレジットカード番号のようなドメインでは、特にメモリ使用量が顕著に削減される。
• CPDを変数消去の過程で動的に評価することで、大きなテーブルを事前に計算・格納しない手法を採ることで、正しくかつスケーラブルな推論を維持できる。
• 標準的な離散的変数と高基数変数を併せ持つハイブリッドネットワークをサポートするため、身元照合やレコードリンケージなどの実用的応用が可能になる。
• 実験的結果から、ドメインサイズが増大するに従い、本手法はテーブルベース手法よりもスケーリングが優れていることが示され、時間的・空間的複雑度が顕著に削減される。
• 拡張的表現と意図的表現の統合により、中間要因の計算における効率性と正確性のバランスが実現できる。