[論文レビュー] Bayesian Learning of Sum-Product Networks

Martin Trapp, Robert Peharz+3 more|arXiv (Cornell University)|May 26, 2019

Bayesian Modeling and Causal Inference参考文献 49被引用数 8

ひとこと要約

本稿では、問題を計算グラフの設計とベイズ推論によるスコープ関数の学習に分解することにより、和積ネットワーク（SPN）構造学習のための原理的で整合性のあるベイズ枠組みを提案する。この手法により、モノリシックな事後分布推論を用いた構造とパラメータの同時学習が可能となり、検証データセットを必要とせず、交差検証なしに優れたテスト尤度、欠損データに対するロバスト性、自動的なハイパーパrameterチューニングを達成する。低データ環境下でもグリーディなベースラインを上回る性能を発揮する。

ABSTRACT

Sum-product networks (SPNs) are flexible density estimators and have received significant attention due to their attractive inference properties. While parameter learning in SPNs is well developed, structure learning leaves something to be desired: Even though there is a plethora of SPN structure learners, most of them are somewhat ad-hoc and based on intuition rather than a clear learning principle. In this paper, we introduce a well-principled Bayesian framework for SPN structure learning. First, we decompose the problem into i) laying out a computational graph, and ii) learning the so-called scope function over the graph. The first is rather unproblematic and akin to neural network architecture validation. The second represents the effective structure of the SPN and needs to respect the usual structural constraints in SPN, i.e. completeness and decomposability. While representing and learning the scope function is somewhat involved in general, in this paper, we propose a natural parametrisation for an important and widely used special case of SPNs. These structural parameters are incorporated into a Bayesian model, such that simultaneous structure and parameter learning is cast into monolithic Bayesian posterior inference. In various experiments, our Bayesian SPNs often improve test likelihoods over greedy SPN learners. Further, since the Bayesian framework protects against overfitting, we can evaluate hyper-parameters directly on the Bayesian model score, waiving the need for a separate validation set, which is especially beneficial in low data regimes. Bayesian SPNs can be applied to heterogeneous domains and can easily be extended to nonparametric formulations. Moreover, our Bayesian approach is the first, which consistently and robustly learns SPN structures under missing data.

研究の動機と目的

• 既存のSPN構造学習手法に見られる、明確な学習原理の欠如（しばしばヒューリスティック的かつ局所的な最適化）を是正すること。
• 構造学習とパラメータ学習を統一した単一のベイズ推論枠組みに統合し、原理的かつ整合性のあるモデル最適化を保証すること。
• ベイズ的事前分布と自動正則化を活用することで、特に低データおよび欠損データ環境下での一般化性能とロバスト性を向上させること。
• モデルスコアを用いたハイパーパrameterの直接評価を可能にし、別個の検証セットの必要性を排除すること。
• 柔軟でモジュール化されたベイズ設計により、異種のドメインや非パラメトリックな定式化へのSPN学習の拡張を可能とすること。

提案手法

• SPN構造学習を2段階に分解する：(1) 和、積、リーフノードのトポロジーを規定する計算グラフの定義、(2) ノードに変数スコープを割り当てるスコープ関数の学習。
• 木構造の領域グラフに対して、スコープ関数の自然パrametrizationを提案し、カテゴリカルな潜在変数を用いた効率的なベイズ推論を可能にする。
• 共役事前分布を用いることで実行可能性を確保する、スコープ関数、パラメータ、潜在変数の全領域に対するモノリシックなベイズ事後分布推論（ギブスサンプリングによる実装）。
• 構造的制約（完全性と分解可能性）をスコープ関数のパラメータ化に直接組み込み、有効なSPN構造の生成を保証する。
• 階層的事前分布構造を用いることで、非パラメトリック拡張が可能となり、複雑なデータ分布のロバストなモデリングが可能になる。
• 欠損値の補完を必要とせず、構造、パラメータ、欠損値を同時に推論することで、欠損データに対しても耐性を持つ。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティック的・局所的な最適化戦略とは対照的に、SPN構造学習における原理的でグローバル最適な学習目的関数とは何か？
• RQ2 構造学習とパラメータ学習を単一のベイズ推論枠組みに統合することで、一般化性能の向上と過学習の低減はどの程度達成可能か？
• RQ3 従来の手法が補完を必要とする中で、ベイズ的SPNは欠損データ下でも性能を維持できるか、特に従来手法が劣化する状況下で有効性を示せるか？
• RQ4 特に低データ環境下において、ベイズ的SPNはテスト尤度という観点で、グリーディなSPN学習法をどの程度上回れるか？
• RQ5 ベイズ枠組みは、非パラメトリックな拡張や異種データモデリングを、自然にサポートできるか？

主な発見

• 複数のデータセットにおいて、グリーディな学習法（LearnSPN や ID-SPN）と比較して、ベイズ的SPNは顕著に高いテスト対数尤度スコアを達成しており、特にDermatologyデータセットで2.7%の向上を示した。
• Autismデータセットでは、すべてのベースラインを大きく上回る性能を発揮し、既存手法と比較して過学習が抑えられている可能性を示唆している。
• 欠損データ下でもロバストである：k-NN補完を伴っても、LearnSPN や ID-SPN は著しく性能を低下させるが、ベイズ的SPNは安定した性能を維持する。
• ベイズ枠組みにより、モデルスコアを用いたハイパーパrameterの直接評価が可能となり、別個の検証セットの必要性が排除された。これは特に低データ環境下で顕著な利点である。
• 異種データ実験では、MSPN や ABDA といった特化型モデルと同等の性能を発揮し、Autismデータセットではそれらを上回ることもあった。
• 階層的事前分布と変分推論を用いることで、非パラメトリックな定式化への自然な拡張が可能となり、スケーラブルかつ柔軟なモデリングが可能になった。