[論文レビュー] On the Expressive Efficiency of Sum Product Networks

James Martens, Venkatesh Medabalimi|arXiv (Cornell University)|Nov 27, 2014

Product Development and Customization被引用数 35

ひとこと要約

この論文は、分解可能性と完全性（D&C）の制約を満たす和積ネットワーク（SPNs）が、特定の tractable な確率分布——特に完全グラフの全域木上の一様分布——を、その効率的な推論能力にもかかわらず、効率的に表現できないことを示している。主な結果として、D&C SPNs における深さの階層を証明し、深さを増すことで表現の効率が向上することを示しており、他の深層モデルが効率的に捉えられるが、D&C SPNs でさえ任意の深さでも捉えられない具体的な分布を同定している。

ABSTRACT

Sum Product Networks (SPNs) are a recently developed class of deep generative models which compute their associated unnormalized density functions using a special type of arithmetic circuit. When certain sufficient conditions, called the decomposability and completeness conditions (or "D&C" conditions), are imposed on the structure of these circuits, marginal densities and other useful quantities, which are typically intractable for other deep generative models, can be computed by what amounts to a single evaluation of the network (which is a property known as "validity"). However, the effect that the D&C conditions have on the capabilities of D&C SPNs is not well understood. In this work we analyze the D&C conditions, expose the various connections that D&C SPNs have with multilinear arithmetic circuits, and consider the question of how well they can capture various distributions as a function of their size and depth. Among our various contributions is a result which establishes the existence of a relatively simple distribution with fully tractable marginal densities which cannot be efficiently captured by D&C SPNs of any depth, but which can be efficiently captured by various other deep generative models. We also show that with each additional layer of depth permitted, the set of distributions which can be efficiently captured by D&C SPNs grows in size. This kind of "depth hierarchy" property has been widely conjectured to hold for various deep models, but has never been proven for any of them. Some of our other contributions include a new characterization of the D&C conditions as sufficient and necessary ones for a slightly strengthened notion of validity, and various state-machine characterizations of the types of computations that can be performed efficiently by D&C SPNs.

研究の動機と目的

• D&C 制約のもとでの和積ネットワーク（SPNs）の表現の効率性を調査すること。この制約により、tractable な推論が可能になる。
• D&C SPNs が、特にすべての周辺分布と分割関数が完全に計算可能なすべての tractable な確率分布を効率的に表現できるかどうかを特定すること。
• D&C SPNs の表現力と他の深層生成モデルとの比較、特にパラメータの効率性の観点での比較を行うこと。
• D&C SPNs に形式的な深さの階層を確立し、深さの増加に伴い表現能力が拡大することを示すこと。

提案手法

• 著者らは、多項式線形算術回路との関連を用いて D&C SPNs を分析し、状態機械の特徴付けを用いてその計算能力をモデル化している。
• 分離分布として、完全グラフ $K_m$ の全域木の隣接行列上の一様分布を構築している。
• 任意の $K_m$ の辺の2色塗り分けにおいて、制約三角形（二色三角形）の数の下界を証明し、赤い辺の数が $n/3 \leq r \leq 2n/3$ の範囲にある場合、少なくとも $m^3/60$ 個の三角形が存在することを示している。
• ランダムウォークに基づくランダムな全域木のサンプリング手順を用いて、大きな数の制約を満たす木の割合が指数的に小さくなることを示している。
• 確率的バウンドを適用し、$C \geq m^3/60$ の制約を満たす全域木の割合が、$(1 - 1/60)^{m/360}$ 以下であることを示している。この値は $m$ と共に指数的に減少する。
• 既知のグラフにおける三角形数の結果を活用し、有効な SPN 構造の数を制限することで、主定理に至っている。

実験結果

リサーチクエスチョン

• RQ1 D&C SPNs は、すべての周辺分布と分割関数が完全に計算可能な tractable な確率分布を効率的に表現できるか？
• RQ2 他の深層生成モデルが効率的に捉えられるが、D&C SPNs ですら任意の深さでも捉えられない分布は存在するか？
• RQ3 D&C SPNs の表現能力は深さに応じて増大するのか。すなわち、深さの階層が成立するか？
• RQ4 D&C 条件は、SPNs が複雑な分布を表現する能力にどのような構造的制限を課すのか？

主な発見

• 完全グラフ $K_m$ の全域木の隣接行列上の一様分布——これは tractable な分布であるが、任意の深さであっても、D&C SPN では効率的に表現できない。
• 赤い辺の数が $n/3 \leq r \leq 2n/3$ の範囲にある任意の $K_m$ の辺の2色塗り分けにおいて、制約三角形（二色三角形）の数は少なくとも $m^3/60$ 個存在し、強い下界が確立される。
• 制約 $m^3/60$ を満たす全域木の割合は、$(1 - 1/60)^{m/360}$ 以下であり、$m$ と共に指数的に減少する。これは、すべての制約を満たす木がほとんど存在しないことを示している。
• これは、D&C SPNs が分離分布を効率的に表現できないことを示しており、必要な制約数が $m$ に対して超多項式的に増加する一方で、有効なネットワーク構造の数は指数的に小さく保たれるためである。
• 本論文は、D&C SPNs に深さの階層を確立した。各層を追加するごとに、効率的に表現可能な分布の集合が拡大する。
• D&C 条件が、強化された妥当性の概念において、必要かつ十分であることが示され、SPN 設計におけるその役割を新たな特徴付けで明らかにした。