[論文レビュー] Approximate Knowledge Compilation by Online Collapsed Importance Sampling

Tal Friedman, Guy Van den Broeck|arXiv (Cornell University)|May 31, 2018

Bayesian Modeling and Causal Inference参考文献 14被引用数 5

ひとこと要約

本稿では、部分的実装に基づいて動的に変数を選択するオンライン折りたたみ重要度サンプリングおよび折りたたみコンパイルを導入し、離散確率的グラフィカルモデルにおける近似推論の新しい手法を提示する。部分的にコンパイルされた算術回路を有効な提案分布として用いることで、正確な推論リソースが限られる状況下でも、文脈的独立性を示すモデルにおいて、最先端の手法を上回る性能を発揮する。

ABSTRACT

We introduce collapsed compilation, a novel approximate inference algorithm for discrete probabilistic graphical models. It is a collapsed sampling algorithm that incrementally selects which variable to sample next based on the partial sample obtained so far. This online collapsing, together with knowledge compilation inference on the remaining variables, naturally exploits local structure and context- specific independence in the distribution. These properties are naturally exploited in exact inference, but are difficult to harness for approximate inference. More- over, by having a partially compiled circuit available during sampling, collapsed compilation has access to a highly effective proposal distribution for importance sampling. Our experimental evaluation shows that collapsed compilation performs well on standard benchmarks. In particular, when the amount of exact inference is equally limited, collapsed compilation is competitive with the state of the art, and outperforms it on several benchmarks.

研究の動機と目的

• 文脈的独立性や局所的決定論的構造を示す複雑な構造を持つ離散確率的グラフィカルモデルにおいて、効率的な近似推論を実現すること。
• 従来の折りたたみサンプリングの限界を克服すること。これは、事前にサンプリングする変数を指定する必要があり、手動で指定された提案分布に依存するためである。
• サンプリング中にどの変数を折りたたむかを動的に選択する手法を開発すること。これは、事前にサンプリングされた値の文脈に適応する。
• 知識コンパイルをサンプリングプロセスに統合し、部分的にコンパイルされた回路を高品質な提案分布として用いることで、分散を低減すること。
• 回路サイズを制限することで知識コンパイルをより大きなモデルにスケーリングし、構造的特徴を保持したまま近似推論を可能にすること。

提案手法

• オンライン折りたたみ重要度サンプリングは、現在の部分的実装に基づいて次のサンプリング変数を動的に選択する。このプロセスを拡張されたモデル上の折りたたみサンプラーとして扱うことで、漸近的に不偏となることを保証する。
• この手法は、モデルの要因から段階的に構築される算術回路を用い、残りの変数における効率的な正確な推論を可能にする部分的にコンパイルされた表現を維持する。
• 重要度サンプリングのための提案分布は、現在の部分的にコンパイルされた回路の状態から導出される。この回路は、サンプリングされた変数の文脈に適応する。
• 変数選択ポリシー（例：MinEnt、RBVar、SS）がオンライン折りたたみプロセスを導き、残りの推論の複雑さを低減する変数を優先する。
• 回路サイズにメモリ制限を課し、コンパイルが実行可能であるように、どの程度の変数をサンプリングするかを自動的に決定する。
• オンライン折りたたみと知識コンパイルを組み合わせることで、標準的な近似推論では取り組みにくい局所的構造や文脈的独立性を自然に活用できる。

実験結果

リサーチクエスチョン

• RQ1 折りたたみサンプリングにおけるオンライン変数選択は、確率的グラフィカルモデルの近似推論の効率性と正確性を向上させ得るか？
• RQ2 知識コンパイルをオンラインサンプリングフレームワークに統合することで、高品質で適応可能な提案分布を構築できるか？
• RQ3 動的折りたたみは、固定された折りたたみ戦略に比べて、文脈的独立性や局所的構造をどれほど効果的に活用できるか？
• RQ4 正確な推論リソースが制限される状況下で、折りたたみコンパイルの性能は最先端の近似推論アルゴリズムと比べてどうなるか？
• RQ5 Belief propagationに失敗するような、密なループや多数の決定論的要因を有する困難なモデルに対しても、この手法は頑健性を示すか？

主な発見

• 標準ベンチマークでは、正確な推論リソースが同じ計算予算に制限される場合、折りたたみコンパイルはEDBPやsamplesearchといった最先端の手法と同等の性能を達成する。
• DBNベンチマークでは、RBVarまたはMinEntポリシーを用いた折りたたみコンパイルが、EDBPおよびsamplesearchを上回り、密に接続されたモデルにおける適応的変数選択の利点を示している。
• frust16 Isingモデルでは、折りたたみコンパイルは正しい解に収束するが、samplesearchはバイアスのある推定値を出力する。これは、この手法の信念伝播における問題的収束に対する頑健性を示している。
• 12×12グリッドと決定論的要因を有するProbLogベンチマークでは、EDBPが決定論的要因の多さのため収束しないのに対し、折りたたみコンパイルはEDBPよりも低いヘルンガーディアン距離を達成する。
• samplesearchはProbLogインスタンスで一貫して誤った周辺確率を出力するが、折りたたみコンパイルは複数回の実行において真の値に一貫して収束する。これは、バイアスが低いことを示している。
• この手法の性能は変数選択ポリシーに敏感であり、特に少数の適切に選ばれた変数が残りの推論を著しく簡素化できるモデルでは、MinEntおよびRBVarが最も優れた結果をもたらす。