[論文レビュー] Computing Upper and Lower Bounds on Likelihoods in Intractable Networks

Tommi Jaakkola, Michael I. Jordan|arXiv (Cornell University)|Feb 13, 2013

Bayesian Modeling and Causal Inference参考文献 14被引用数 57

ひとこと要約

この論文は、凸緩和と線形計画法を用いて、計算が困難なベイジアンネットワーク（特にシグモイドおよびノイズありORモデル）における周辺尤度の決定的境界を提示する。正確な推論が計算的に不可能な場合に、効率的にきつい上限と下限を計算でき、数値結果により、さまざまなネットワーク構造において境界のきつさが顕著に示された。

ABSTRACT

We present deterministic techniques for computing upper and lower bounds on marginal probabilities in sigmoid and noisy-OR networks. These techniques become useful when the size of the network (or clique size) precludes exact computations. We illustrate the tightness of the bounds by numerical experiments.

研究の動機と目的

• 大きなクリークサイズのため、正確な推論が計算的に不可能な状況におけるベイジアンネットワークの周辺尤度を計算する課題に対処すること。
• シグモイドおよびノイズありORネットワークにおける周辺確率の境界をとる決定的でスケーラブルな技術を開発すること。
• 計算的に取り扱いやすく、実験的にきつい境界を提供するように、大規模または複雑なネットワークにおける信頼性のある推論を可能にすること。
• 高精度の境界が必要な状況で、サンプリングに基づく手法の実用的代替手段を提供すること。

提案手法

• 計算不能な推論問題を扱いやすい最適化問題に変換するために、凸緩和技術を用いる。
• 元の確率的モデルの制約を緩和することで、線形計画法を用いて周辺確率の上限と下限を計算する。
• 真の正規化定数を扱いやすい上限と下限で近似する変分定式化を採用する。
• シグモイドおよびノイズありORネットワークの構造を活用し、パrameter化された緩和スキームを通じてきつい境界を導出する。
• 緩和の双対定式化を活用し、多項式時間で計算可能で、証明可能な有効性を持つ境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 正確な推論が不可能なベイジアンネットワークにおいて、周辺尤度の信頼性のある上限と下限を計算できるか？
• RQ2 実世界の計算不能なネットワーク構造において、凸緩和技術が生成する境界はどれほどきついのか？
• RQ3 線形計画法は、シグモイドおよびノイズありORネットワークにおける周辺確率の境界に効果的に適用できるか？
• RQ4 高精度が求められる状況において、提案手法の境界のきつさは、サンプリングに基づく手法と比べてどのように異なるか？

主な発見

• 提案された境界は実験的にきついものであり、多様なネットワーク構成において上限と下限の間の一致が顕著に確認された。
• 正確な推論と比較して顕著な計算コストの削減を達成し、より大きなネットワークへのスケーラビリティを実現した。
• 境界は証明可能な有効性を持ち、多項式時間で計算可能であるため、実用的応用に適している。
• 高精度が求められる状況では、サンプリングに基づく手法よりも境界のきつさにおいて優れた性能を示した。