[論文レビュー] FSPN: A New Class of Probabilistic Graphical Model

Zi‐Niu Wu, Rong Zhu+6 more|arXiv (Cornell University)|Nov 18, 2020

Bayesian Modeling and Causal Inference参考文献 46被引用数 6

ひとこと要約

FSPNは、相関が強い変数に対してベイジアンネットワーク因子分解を、相関が弱い変数に対して和積ネットワーク因子分解を適応的に組み合わせる、新しい確率的グラフィカルモデルを導入しており、高い推定精度とほぼ線形の推論速度を両立している。ベンチマークデータセットにおいて、対数尤度、推論速度（最速で680倍速い）、モデルのcompactさの面で既存のモデルを上回っている。

ABSTRACT

We introduce factorize sum split product networks (FSPNs), a new class of probabilistic graphical models (PGMs). FSPNs are designed to overcome the drawbacks of existing PGMs in terms of estimation accuracy and inference efficiency. Specifically, Bayesian networks (BNs) have low inference speed and performance of tree structured sum product networks(SPNs) significantly degrades in presence of highly correlated variables. FSPNs absorb their advantages by adaptively modeling the joint distribution of variables according to their dependence degree, so that one can simultaneously attain the two desirable goals: high estimation accuracy and fast inference speed. We present efficient probability inference and structure learning algorithms for FSPNs, along with a theoretical analysis and extensive evaluation evidence. Our experimental results on synthetic and benchmark datasets indicate the superiority of FSPN over other PGMs.

研究の動機と目的

• 既存の確率的グラフィカルモデル（PGM）における推定精度と推論効率のトレードオフを解消すること。
• ベイジアンネットワーク（BN）の遅い推論と、和積ネットワーク（SPN）の相関が強い変数に対する性能の低さという限界を克服すること。
• 変数間の依存度に応じて要因分解戦略を動的に選択する統一的かつ適応的なPGMフレームワークを設計すること。
• 高い推定精度と扱いやすい推論速度の両方を同時に達成すること。

提案手法

• FSPNは、変数間の依存度に基づいて結合確率密度関数（PDF）を適応的に分解する：相関が強い変数に対してはBNによる条件付き因子分解、相関が弱い変数に対してはSPN風の局所的独立性に基づく因子分解を採用する。
• 相関が強い変数群の多次元PDFをモデル化するために次元削減技術（例：PCA）を用いる。
• 木構造のネットワーク内で条件付き因子分解と局所的因子分解を再帰的に適用することで、効率的な周辺確率推論を可能にする。
• 最大尤度推定（MLE）に基づく局所的に最適な構造学習アルゴリズムを提案し、FSPNの構築を効率化する。
• 推論アルゴリズムはノード数に対してほぼ線形時間で実行され、高い扱いやすさを確保する。
• FSPNは木構造SPNと離散的BNを特別なケースとして一般化しており、多様なPGMフレームワークとしての汎用性を持つ。

実験結果

リサーチクエスチョン

• RQ1 BNとSPNの要因分解戦略を組み合わせたハイブリッドPGMは、高い推定精度と高速な推論を両立できるか？
• RQ2 変数間の依存度に基づく適応的因子分解は、固定構造PGMと比較して、モデリング性能をどのように向上させるか？
• RQ3 ハイブリッドPGMにおいて、モデルの表現力、推論速度、compactさの間にはどのようなトレードオフがあるか？
• RQ4 FSPNは、実世界のベンチマークデータセットにおいて、対数尤度と推論時間の両面で最先端の性能を達成できるか？

主な発見

• FSPNは18個のベンチマークデータセットのうち14個で最高の対数尤度スコアを達成し、LearnSPN、BayesSPN、MT、WinMine、ECNet、EM-PSDDを上回った。
• 平均して、FSPNはKL発散度をSPN-BTB、SPGM、BN-DAGと比較して最大50％まで低減しており、優れた推定精度を示している。
• FSPNの推論は、BN-DAGの680倍速く、SPN-BTBの261倍速く、BN-Treeの206倍速く、驚異的な推論効率を実現している。
• FSPNモデルは他のモデルと比較して最大2桁の小ささであり、学習時間も大多数のベースラインより数倍速い。
• Netflixデータセットでは、FSPNがテスト対数尤度-56.36を達成し、SPN-BTB（-57.12）とSPGM（-57.33）を上回った。
• DNAデータセットでは、FSPNが対数尤度-80.65を達成し、SPN-BTB（-80.97）とID-SPN（-82.52）を大きく上回った。