[論文レビュー] Large Deviation Methods for Approximate Probabilistic Inference

Michael Kearns, Lawrence K. Saul|arXiv (Cornell University)|Jan 30, 2013

Bayesian Modeling and Causal Inference参考文献 9被引用数 51

ひとこと要約

本稿では、二層構造のベイジアンネットワークに適用可能な大偏差理論を用いて、バイナリ変数と単調な条件付き確率関数を有する大規模な二層構造ベイジアンネットワークにおける周辺確率の厳密な上界と下界を導出する。大偏差理論を活用することで、ネットワークサイズに応じたこれらの境界の収束速度を確立し、シグモイド関数やノイズありOR関数といった一般的なパラメータ化にも適用可能である。これにより、大規模ネットワークにおける平均化行動が推論をどのように簡素化するかが明らかになる。

ABSTRACT

We study two-layer belief networks of binary random variables in which the conditional probabilities Pr[childlparents] depend monotonically on weighted sums of the parents. In large networks where exact probabilistic inference is intractable, we show how to compute upper and lower bounds on many probabilities of interest. In particular, using methods from large deviation theory, we derive rigorous bounds on marginal probabilities such as Pr[children] and prove rates of convergence for the accuracy of our bounds as a function of network size. Our results apply to networks with generic transfer function parameterizations of the conditional probability tables, such as sigmoid and noisy-OR. They also explicitly illustrate the types of averaging behavior that can simplify the problem of inference in large networks.

研究の動機と目的

• バイナリ変数を有する大規模な二層構造ベイジアンネットワークにおける正確な確率推論の非可算性に対処すること。
• 大規模ネットワークにおける周辺確率（例：Pr[子供]）を近似する計算的に実行可能な手法を開発すること。
• 大偏差理論を用いて、これらの確率の厳密な上界と下界を導出すること。
• ネットワークサイズの増大に伴う境界の収束速度を特徴付けること。
• 大規模ネットワークにおける親変数の平均化行動が推論問題をどのように簡素化するかを示すこと。

提案手法

• 二層構造ベイジアンネットワークにおける親変数の重み付き和の尾部挙動を分析するために大偏差理論を用いる。
• Cramérの定理および関連する大偏差原理を適用し、ネットワーク内でのレアイベントの確率に対する指数的境界を導出する。
• 親構成のモーメント生成関数に基づいて、周辺確率 Pr[子供] の上界と下界を導出する。
• 一般的な単調な転送関数（例：シグモイド関数、ノイズありOR関数）を用いて条件付き確率をパラメータ化する。
• 大偏差理論のレート関数を用いて、ネットワークサイズの関数として境界の精度の収束速度を確立する。
• 親の影響の和が子の確率を決定する相互作用を有する確率変数の集合としてネットワークを扱う。

実験結果

リサーチクエスチョン

• RQ1 正確な推論が非現実的である大規模な二層構造ベイジアンネットワークにおける周辺確率を、どのようにして効率的に境界付けることができるか？
• RQ2 これらの境界の理論的精度は何か？ また、ネットワークサイズの増大に伴ってどのように収束するか？
• RQ3 どのようなネットワーク構造と条件付き確率のパラメータ化が、このような境界を可能にするか？
• RQ4 親変数の平均化行動が、大規模ネットワークにおける推論をどのように簡素化するか？
• RQ5 大偏差技法は、実用的な推論タスクに対して、非漸近的かつ厳密な境界を提供できるか？

主な発見

• 本稿では、大偏差原理を用いて、Pr[子供] などの周辺確率の厳密な上界と下界を導出する。
• ネットワークサイズの関数として、境界の精度の収束速度が確立され、誤差確率の指数的減少が示される。
• 境界は、シグモイド関数やノイズありOR関数を含む一般的な単調なパラメータ化に対して有効である。
• この手法により、大規模ネットワークにおける平均化効果が測度の集中を引き起こし、推論を簡素化することが明らかになる。
• 大偏差理論のレート関数は、境界の精度を定量化し、異なるネットワーク構成間での比較を可能にする。
• 本手法は、誤差制御が保証されたスケーラブルな近似推論の理論的基盤を提供する。