[論文レビュー] Sum-product networks: A survey

Iago París, Raquel Sánchez‐Cauce+1 more|arXiv (Cornell University)|Apr 2, 2020

Bayesian Modeling and Causal Inference参考文献 82被引用数 5

ひとこと要約

このサーベイは、和積ネットワーク（SPNs）について包括的な概要を提供する。SPNsは、和ノードと積ノードの階層的構造を用いて、正確な推論を効率的に行える、扱いやすい確率的ディープラーニングモデルである。数学的基盤、推論および学習アルゴリズム、コンピュータビジョンや自然言語処理などの応用分野における有効性について詳述しており、従来の確率的モデルを上回り、スケーラビリティと解釈可能性においてニューラルネットワークと同等の性能を示している。

ABSTRACT

A sum-product network (SPN) is a probabilistic model, based on a rooted acyclic directed graph, in which terminal nodes represent univariate probability distributions and non-terminal nodes represent convex combinations (weighted sums) and products of probability functions. They are closely related to probabilistic graphical models, in particular to Bayesian networks with multiple context-specific independencies. Their main advantage is the possibility of building tractable models from data, i.e., models that can perform several inference tasks in time proportional to the number of links in the graph. They are somewhat similar to neural networks and can address the same kinds of problems, such as image processing and natural language understanding. This paper offers a survey of SPNs, including their definition, the main algorithms for inference and learning from data, the main applications, a brief review of software libraries, and a comparison with related models

研究の動機と目的

• 元のネットワーク多項式定式化を超えて、和積ネットワーク（SPNs）を統一的かつ数学的に厳密に取り扱うことを目的とする。
• 初期の研究における曖昧さを解消するために、SPNsにおける分解可能性、一貫性、選択可能性といったコアな概念を明確化し形式化すること。
• 散在する文献における推論、パラメータ学習、構造学習のアルゴリズムを、一貫した表記法を用いて体系化・統一すること。
• コンピュータビジョン、自然言語処理、その他の分野におけるSPNの応用をレビューし、実用的有用性を示すこと。
• ベイジアンネットワーク、算術回路、ディープニューラルネットワークなどの関連モデルとSPNを比較すること。

提案手法

• SPNsは、終端ノードが一変量分布を表し、非終端ノードが確率関数の重み付き和（混合）および積（因子分解）を表す有環有向グラフとして定義される。
• 推論の tractability（扱いやすさ）を保証するため、分解可能性を強制する。これにより、エッジ数に比例する線形時間で周辺分布および条件付き確率の計算が可能になる。
• 前向き伝搬を用いた推論により、和演算および積演算を実行し、エッジ数に比例する線形時間で周辺分布、MAP、事後分布を正確に計算できる。
• パラメータ学習には、バックプロパゲーションをSPN構造全体に適用する勾配ベースの最適化手法を用い、ネットワーク出力の合成微分とチェーンルールを活用する。
• 構造学習には、スコア関数や変数のクラスタリングに基づいて、データからSPNアーキテクチャを構築する貪欲法や探索ベースのアルゴリズムを用いる。
• 理論的分析により、SPNsは任意の扱いやすい分布を表現可能であり、部分的証拠下でも効率的な計算が可能であることが示された。

実験結果

リサーチクエスチョン

• RQ1 SPNsは、ネットワーク多項式のような以前の表現からどのように正式に定義され、区別されるのか？
• RQ2 SPNsにおける推論の扱いやすさを保証するための必要十分条件（例：分解可能性、選択性）は何か？
• RQ3 効率的かつ正しい推論および学習アルゴリズムを数学的に導出し、証明するにはどうすればよいか？
• RQ4 特定のタスクにおいて、SPNsは従来の確率的グラフィカルモデルやディープニューラルネットワークをどのように上回るのか？
• RQ5 視覚や言語分野の現実世界の問題にスケーリングするのを可能にする、SPNsの主要なアーキテクチャ的およびアルゴリズム的要素は何か？

主な発見

• SPNsは、ネットワーク内のエッジ数に比例する時間で正確な推論を可能とし、大規模モデルに対しても扱いやすい。
• 分解可能性をコアな性質として用いることで、部分的観測下でも効率的かつスケーラブルな学習と推論が可能になる。
• 特に非自明な構成において、正しいパラメータ学習および特定の推論タスクの実行において、選択性が極めて重要であることが判明した。
• 文脈に依存する独立性が存在する場合、標準的なベイジアンネットワークよりも少ないパラメータ数で複雑な分布を表現できる。
• 実験的結果から、SPNsは画像分類および自然言語処理タスクにおいて、ディープニューラルネットワークと同等の性能を達成しており、正確な推論を維持している。
• 理論的分析により、任意の有限状態SPNは、多項式時間および空間制約の下で、ADD符号化された条件付き確率を持つベイジアンネットワークに変換可能であり、逆も同様に成り立つことが確認された。