[論文レビュー] Sum-Product-Quotient Networks

Or Sharir, Amnon Shashua|arXiv (Cornell University)|Oct 12, 2017

Formal Methods in Verification参考文献 13被引用数 4

ひとこと要約

本稿では、商ノードを組み込んだSum-Product-Quotient Networks (SPQNs) を提案する。SPQNsは、SPNの拡張であり、除法を用いて条件付き確率を直接計算可能にすることで、SPNの厳密な分解可能性および完全性の制約を緩和する。主な貢献は、SPQNsがSPNよりも指数的表現効率を達成することの証明であり、指数的に大きなSPNを必要とする分布をコンパクトに表現可能であることを示している。

ABSTRACT

We present a novel tractable generative model that extends Sum-Product Networks (SPNs) and significantly boosts their power. We call it Sum-Product-Quotient Networks (SPQNs), whose core concept is to incorporate conditional distributions into the model by direct computation using quotient nodes, e.g. $P(A|B) = \frac{P(A,B)}{P(B)}$. We provide sufficient conditions for the tractability of SPQNs that generalize and relax the decomposable and complete tractability conditions of SPNs. These relaxed conditions give rise to an exponential boost to the expressive efficiency of our model, i.e. we prove that there are distributions which SPQNs can compute efficiently but require SPNs to be of exponential size. Thus, we narrow the gap in expressivity between tractable graphical models and other Neural Network-based generative models.

研究の動機と目的

• Sum-Product Networks (SPNs) の表現力の限界に起因する、厳密な構造的制約のため、特定の tractable な分布を効率的に表現できない問題に対処すること。
• P(A|B) = P(A,B)/P(B) のような条件付き確率を直接計算可能な tractable な生成モデルを構築すること、特に商ノードを用いること。
• SPNの分解可能性および完全性の条件を緩和しつつ、tractable な推論を維持することで、表現効率を向上させること。
• SPQNsが、特定の分布をSPNよりも指数的に効率よく表現できることを示し、ニューラルネットワークベースの生成モデルとのギャップを縮小すること。
• 将来的な拡張のための理論的基盤を構築すること、例えば生成的分類、一貫性のある周辺分布のための共同学習、ConvNets を模倣した畳み込み型SPQNs など。

提案手法

• SPNにおける内部ノードとしての商ノードを導入し、各商ノードが親ノードの出力の比を計算することで、条件付き確率の直接計算を可能にする。
• SPNの分解可能性条件を一般化する新しい構造的条件「条件付き分解可能性」を定義し、積ノードの子ノード間に特定の制約下で共有される変数スコープを許容する。
• SPQNにおける tractable な推論のための十分条件を確立し、SPNの分解可能かつ完全（D&C）条件を一般化することで、正規化および周辺化が多項式時間で計算可能であることを保証する。
• 算術回路（AC）の枠組みを用いてSPQNを形式化し、商ノードによる有理関数が新しい構造的制約下でも tractable であることを証明する。
• SPQNがSPNで表現可能な任意の分布を表現可能であると同時に、指数的に大きなSPNを必要とする分布を効率的にモデル化できることを示す。
• 生成的分類、一貫性のある周辺分布のための共同学習、ConvNets を模倣した畳み込み型SPQNs など、理論的拡張を提案する。

実験結果

リサーチクエスチョン

• RQ1 商ノードをSPNに統合することで、tractable な推論を維持したまま、条件付き確率の直接計算が可能になるか？
• RQ2 商ノードによる分解可能性および完全性の制約の緩和が、表現効率の顕著な向上をもたらすか？
• RQ3 SPQNsによって効率的に表現可能なが、指数的に大きなSPNを必要とする分布は存在するか？
• RQ4 新しい構造的制約下でも、SPQNsは tractable な推論および正規化を維持できるか？
• RQ5 有理関数（商ノードを介して）を tractable な確率的モデルに用いることの理論的および実用的意味は何か？

主な発見

• SPQNsは、条件付き分解可能性を導入することで、SPNの分解可能かつ完全（D&C）条件を一般化し、積ノードの子ノード間に制御された条件下で共有される変数スコープを許容する。
• 本稿では、新しい構造的制約下でもSPQNsが tractable な推論を維持することを証明しており、正規化および周辺化が多項式時間で計算可能であることを保証する。
• SPQNsはSPNよりも指数的表現効率を達成する：指数的サイズのSPNを必要とする分布が存在するが、それらはSPQNsでは多項式サイズで表現可能である。
• モデルは、P(A|B) = P(A,B)/P(B) を用いた条件付き確率の直接計算が可能であることを示し、モデルの柔軟性が著しく向上することを示している。
• SPQNsが、SPNが効率的に表現できない分布（例えば、n 頂点の完全グラフの全域木上の一様分布）を理論的に表現可能であることが示されている。
• 条件付き分解可能性が引き起こす部分順序のため、一般の tractable な周辺化が失われるものの、SPQNsは tractable な推論を維持しており、共同学習によって一貫性のある周辺分布への道筋を提供している。