[論文レビュー] Sum-Product Networks: A New Deep Architecture

Hoifung Poon, Pedro Domingos|arXiv (Cornell University)|Feb 14, 2012

Bayesian Modeling and Causal Inference参考文献 27被引用数 377

ひとこと要約

この論文は、完全性と一貫性を満たすことで正確かつ効率的な推論を可能にする、重み付きエッジを備えた和・積ノードから構成される深層アーキテクチャ、和積ネットワーク（SPNs）を導入する。SPNsは、多くの効率的グラフィカルモデルを一般化し、画像補完などのタスクにおいて、バックプロパゲーションとEMに基づく学習による効率的かつ正確な推論のおかげで、標準的な深層ネットワークを上回る高速かつ高精度な結果を達成する。

ABSTRACT

The key limiting factor in graphical model inference and learning is the complexity of the partition function. We thus ask the question: what are general conditions under which the partition function is tractable? The answer leads to a new kind of deep architecture, which we call sum-product networks (SPNs). SPNs are directed acyclic graphs with variables as leaves, sums and products as internal nodes, and weighted edges. We show that if an SPN is complete and consistent it represents the partition function and all marginals of some graphical model, and give semantics to its nodes. Essentially all tractable graphical models can be cast as SPNs, but SPNs are also strictly more general. We then propose learning algorithms for SPNs, based on backpropagation and EM. Experiments show that inference and learning with SPNs can be both faster and more accurate than with standard deep networks. For example, SPNs perform image completion better than state-of-the-art deep networks for this task. SPNs also have intriguing potential connections to the architecture of the cortex.

研究の動機と目的

• グラフィカルモデルにおける分配関数がどのようにして効率的に計算可能になるかの一般条件を特定すること。
• 複雑な確率的モデル上で正確かつ効率的な推論を可能にする新しい深層アーキテクチャの開発。
• 既存の効率的グラフィカルモデルを一般化しつつ、スケーラブルな学習と推論を可能にすること。
• SPNsのためのバックプロパゲーションとEMに基づく学習アルゴリズムの提案。
• 標準的な深層ネットワークと比較して、SPNsが推論および学習タスクで優れた性能を示すことを実証すること。

提案手法

• SPNsは、変数をリーフノードとし、和ノードと積ノードを内部ノードとし、重み付きエッジを持つ有向非巡回グラフ（DAG）として定義される。
• ネットワークが完全かつ一貫していることが要求され、これにより有効な確率分布を表し、正確な推論が可能になる。
• 各ノードは、子ノードの出力の重み付き和（和ノードの場合）または積（積ノードの場合）を計算する。重みは確率として解釈される。
• 構造的および完全性の条件のおかげで、分配関数とすべての周辺分布がネットワークサイズに比例する線形時間で計算可能である。
• 学習はバックプロパゲーションとEMを用い、パラメータの更新は勾配に基づく最適化によって導かれる。
• サンプリングを必要とせず、近似を用いない正確な推論が可能であり、高速かつ正確な確率的推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 どの条件下でグラフィカルモデルにおける分配関数と周辺分布の計算が効率的に行えるか。
• RQ2 表現力とスケーラビリティを保ちつつ、正確な推論を可能にする深層アーキテクチャを設計できるか。
• RQ3 勾配ベースおよびEMベースの手法を用いて、SPNsをどのように効率的に学習できるか。
• RQ4 画像補完などのタスクにおいて、SPNsは標準的な深層ネットワークをどの程度上回る性能を示すか。
• RQ5 SPNの構造と新皮質における神経アーキテクチャの間に、何らかの関係が存在するか。

主な発見

• 完全かつ一貫している場合、SPNsはグラフィカルモデルの分配関数とすべての周辺分布を正確に、かつネットワークサイズに比例する線形時間で表現可能である。
• SPNsは、特定の構造を持つベイジアンネットワークやマルコフネットワークを含む、多くの効率的グラフィカルモデルを一般化する。
• 画像補完タスクにおいて、SPNsは標準的な深層ネットワークよりも高速かつ高精度な推論を達成する。
• バックプロパゲーションとEMの併用により、収束性の良い良好な性能を示すSPNパラメータの学習が可能である。
• SPNsは、新皮質の微小回路と興味深い構造的類似性を示しており、生物学的妥当性の可能性を示唆している。
• 多くの深層生成モデルがサンプリングに依存するのに対し、SPNsは近似を用いずに正確な推論をサポートする。