[論文レビュー] Conditional Sum-Product Networks: Imposing Structure on Deep Probabilistic Architectures

Xiaoting Shao, Alejandro Molina+5 more|arXiv (Cornell University)|May 21, 2019

Bayesian Modeling and Causal Inference参考文献 40被引用数 15

ひとこと要約

この論文は、深層ネットワークと構造的SPNを組み合わせることで、複雑な多次元条件付き分布 $P(\mathbf{Y}|\mathbf{X})$ をモデル化しつつ、推論を tractable に保つ、条件付き和積ネットワーク（CSPN）を導入する。入力を用いてSPNのパラメータを条件づける深層ネットワークと、ランダム化された条件付き相関検定（RCoT）による構造学習を用いることで、CSPNはマルチラベル画像分類において、平均場モデルや混合密度ネットワークを上回る、最新の性能を達成する。

ABSTRACT

Probabilistic graphical models are a central tool in AI; however, they are generally not as expressive as deep neural models, and inference is notoriously hard and slow. In contrast, deep probabilistic models such as sum-product networks (SPNs) capture joint distributions in a tractable fashion, but still lack the expressive power of intractable models based on deep neural networks. Therefore, we introduce conditional SPNs (CSPNs), conditional density estimators for multivariate and potentially hybrid domains which allow harnessing the expressive power of neural networks while still maintaining tractability guarantees. One way to implement CSPNs is to use an existing SPN structure and condition its parameters on the input, e.g., via a deep neural network. This approach, however, might misrepresent the conditional independence structure present in data. Consequently, we also develop a structure-learning approach that derives both the structure and parameters of CSPNs from data. Our experimental evidence demonstrates that CSPNs are competitive with other probabilistic models and yield superior performance on multilabel image classification compared to mean field and mixture density networks. Furthermore, they can successfully be employed as building blocks for structured probabilistic models, such as autoregressive image models.

研究の動機と目的

• 表現力、解釈可能性、推論の tractability の間のトレードオフを解消すること。
• 和積ネットワーク（SPN）を $P(\mathbf{Y}|\mathbf{X})$ の条件付き分布へ拡張し、推論の tractability を維持すること。
• 深層ニューラルネットワークを用いてSPN構造をパラメータ化する方法を提供し、条件付き独立構造を保つこと。
• 異種のデータや条件付き依存関係に適応可能なCSPNの構造学習アルゴリズムを開発すること。
• CSPNを、自己回帰的画像生成器などの構造的確率的モデルの構築ブロックとして利用できることを示すこと。

提案手法

• ゲーティングノードを導入することでCSPNを定義し、関数的混合係数を持つ混合モデルとして機能させ、SPNの条件付きパラメータ化を可能にする。
• データ駆動型の条件付き独立関係を同定するため、ランダム化された条件付き相関検定（RCoT）に基づく構造学習アルゴリズムを提案する。
• 深層ニューラルネットワークを用いてSPN構造をパラメータ化することで、ニューラルCSPNを構築し、勾配ベース最適化によるエンドツーエンド学習とモデル容量の向上を実現する。
• 自己回帰的CSPN（ABCSPN）は、画像分布をブロック単位で因数分解し、条件付きSPNの積を用いることで導入され、構造的生成を可能にする。
• SPN構造は、ランダムなSPN生成（Peharzら、2019年）により初期化され、その後、ニューラルネットワークの出力を用いて入力に条件づけられる。
• モデルは勾配ベース最適化による最尤推定で学習され、MPE推定は最大積近似により得られる。

実験結果

リサーチクエスチョン

• RQ1 SPNを $P(\mathbf{Y}|\mathbf{X})$ の条件付き分布に拡張することは可能か？ その際、推論の tractability と構造的解釈可能性を維持できるか？
• RQ2 事前仮定に依存せずに、データ駆動型の方法で $\mathbf{Y}$ の $\mathbf{X}$ 条件付き独立構造を学習できるか？
• RQ3 深層ニューラルネットワークを用いてSPN構造を効果的にパラメータ化することで、表現力の向上を図れるか？ その際、推論の tractability を損なわないか？
• RQ4 CSPNは、自己回帰的画像生成器のような、より深い構造的確率的モデルを構築するためのモジュール化されたコンponentsとして利用可能か？
• RQ5 モデルに条件付き依存関係を組み込むことで、平均場モデルや混合密度ネットワークのベースラインと比較して、顕著な性能向上が得られるか？

主な発見

• CelebAデータセットでは、CSPNは条件付き対数尤度 -10.8、平均精度 87.8% を達成し、平均場モデル（CLL: -12.1、精度: 86.6%）および混合密度ネットワーク（CLL: -11.6、精度: 85.3%）を上回った。
• マルチラベルMNISTおよびFashion-MNISTでは、CSPNは78.4%の精度（平均場: 74.1%、MDN: 76.4%）を達成し、顕著に高い対数尤度を示した。
• CSPNはわずか約40万パラメータで学習されたが、先行研究のより複雑なアーキテクチャを上回る、競争力のある性能を発揮した。
• RCoTに基づく構造学習法は、異種のデータにおいて条件付き独立関係を的確に同定し、よりコンactかつ解釈可能なCSPN構造の構築を可能にした。
• ニューラルCSPNは、条件付き依存関係のモデリングを改善し、独立（平均場）および混合ベースのアプローチと比較して、尤度および精度の両面で顕著な向上を示した。
• ABCSPNは、自己回帰的CSPNを用いて画像をブロック単位でモデリングし、PixelCNN++と同等の高品質な画像サンプルを成功裏に生成し、CSPNが構造的モデルにおける構築ブロックとしての可能性を示した。