[論文レビュー] Tractable Querying and Learning in Hybrid Domains via Sum-Product Networks

Andreas Bueff, Stefanie Speichert+1 more|arXiv (Cornell University)|Jul 14, 2018

Bayesian Modeling and Causal Inference参考文献 19被引用数 11

ひとこと要約

本稿では、任意の形状の密度関数の区分的多項式近似を用いて、ハイブリッド離散連続ドメインにおける効率的で正確な学習とクエリを可能にする、和積ネットワーク（SPN）と重み付きモデル統合（WMI）を統合するフレームワークを提案する。命題的抽象化を活用し、既存のSPN構造学習に干渉を最小限に抑えることで、複雑な区間クエリに対する効率的かつ正確な推論を実現し、スケーラブルで非パラメトリックな連続特徴のモデリングにより高い予測性能を達成する。

ABSTRACT

Probabilistic representations, such as Bayesian and Markov networks, are fundamental to much of statistical machine learning. Thus, learning probabilistic representations directly from data is a deep challenge, the main computational bottleneck being inference that is intractable. Tractable learning is a powerful new paradigm that attempts to learn distributions that support efficient probabilistic querying. By leveraging local structure, representations such as sum-product networks (SPNs) can capture high tree-width models with many hidden layers, essentially a deep architecture, while still admitting a range of probabilistic queries to be computable in time polynomial in the network size. The leaf nodes in SPNs, from which more intricate mixtures are formed, are tractable univariate distributions, and so the literature has focused on Bernoulli and Gaussian random variables. This is clearly a restriction for handling mixed discrete-continuous data, especially if the continuous features are generated from non-parametric and non-Gaussian distribution families. In this work, we present a framework that systematically integrates SPN structure learning with weighted model integration, a recently introduced computational abstraction for performing inference in hybrid domains, by means of piecewise polynomial approximations of density functions of arbitrary shape. Our framework is instantiated by exploiting the notion of propositional abstractions, thus minimally interfering with the SPN structure learning module, and supports a powerful query interface for conditioning on interval constraints. Our empirical results show that our approach is effective, and allows a study of the trade off between the granularity of the learned model and its predictive power.

研究の動機と目的

• ハイブリッドデータにおける連続変数に制限されたパラメトリック分布（例：ガウス分布、ベルヌーイ分布）に依存する既存のSPNフレームワークの限界を解消すること。
• 混合離散連続ドメインにおける複雑な区間制約に対する tractable かつ正確な確率的推論を可能にすること。
• 任意の密度形状の区分的多項式近似を通じて、連続特徴の非パラメトリックモデリングを可能にすること。
• 既存のSPN構造学習パイプラインとの互換性を維持するため、アーキテクチャ変更を最小限に抑えること。
• 重み付きモデル統合（WMI）を用いて、連続およびハイブリッド分布の推論に向けたスケーラブルでクエリ効率の良いインターフェースを提供すること。

提案手法

• フレームワークは、標準的な単変量リーフ分布を任意の連続密度関数の区分的多項式近似に置き換えることで、SPN構造学習を拡張する。
• 推論の計算抽象化として重み付きモデル統合（WMI）を採用し、区間を命題論理の原子にマッピングする。
• 命題的抽象化を用いてWMIとSPN推論をインターフェース化し、既存の命題論理ソルバーを活用して効率的な計算を実現する。
• クエリにおける任意の区間制約（近接・ネストされた区間など、密度近似のボックスに一致しないものも含む）をサポートする。
• 非パラメトリックな連続コンポONENTSを備えたSPNのエンドツーエンドの教師なし学習を維持しつつ、tractability を保つ。
• 多項式近似の細分化の度合いと次数を調整することで、パラメトリックおよび非パラメトリックな密度モデリングを両立する。

実験結果

リサーチクエスチョン

• RQ1 指数型分布族を超える任意の連続分布（非ガウス分布や非パラメトリック密度など）をモデル化できるように、SPNを拡張できるか？
• RQ2 ハイブリッドドメインにおける連続変数の複雑な区間クエリをサポートしつつ、tractable 推論を維持できるか？
• RQ3 区分的多項式近似を用いることで、SPNにおける標準的なパラメトリック仮定に比べて、モデリング精度がどの程度向上するか？
• RQ4 WMIとSPNの統合により、離散および連続変数を含む複雑な条件付きクエリに対する効率的かつ正確な推論が可能になるか？
• RQ5 実際の応用において、モデルの細分化（ボックス数、多項式次数）と予測性能のトレードオフはどのように現れるか？

主な発見

• 提案されたWMISPNフレームワークは、ハイブリッドデータセットにおいて高い予測性能を達成し、正規化された対数尤度がベースラインSPN手法と同等またはそれを上回る。
• 複雑なクエリの推論時間はナノ秒スケールを維持し、クエリ長が延長されても線形にスケーリングされるため、効率性とスケーラビリティが裏付けられる。
• 混合連続・離散アトムを含む包括的な区間クエリをサポートし、性能劣化は顕著に認められない。
• 1つの特徴あたり5つのボックスで、Cloudデータセットのピクセル平均特徴の最初のボックスに3次多項式近似が学習され、15ボックスでは4次多項式近似が得られ、適応的細分化が実現されている。
• tractability を損なわず、任意の密度形状を区分的多項式近似によって非パラメトリックにモデリング可能である。
• 実験的結果から、ボックス数の増加に伴いモデリング忠実度が向上し、細分化と予測力のトレードオフが効果的にバランスされていることが確認された。