[論文レビュー] Learning Arbitrary Sum-Product Network Leaves with Expectation-Maximization

Mattia Desana, Christoph Schnörr|arXiv (Cornell University)|Apr 25, 2016

Bayesian Modeling and Causal Inference参考文献 20被引用数 4

ひとこと要約

本稿では、和積ネットワーク（SPN）における複雑で任意のリーフ分布を学習するための期待値最大化（EM）フレームワークを提案する。この手法により、リーフパラメータの更新が重み付き最尤推定問題に変換され、部分最適化であっても収束保証がある線形時間の訓練が可能となり、木構造のグラフィカルモデルをリーフに用いる場合、パラメータ数を著しく減らしながら最先端の密度推定手法を上回る性能を発揮する。

ABSTRACT

Sum-Product Networks with complex probability distribution at the leaves have been shown to be powerful tractable-inference probabilistic models. However, while learning the internal parameters has been amply studied, learning complex leaf distribution is an open problem with only few results available in special cases. In this paper we derive an efficient method to learn a very large class of leaf distributions with Expectation-Maximization. The EM updates have the form of simple weighted maximum likelihood problems, allowing to use any distribution that can be learned with maximum likelihood, even approximately. The algorithm has cost linear in the model size and converges even if only partial optimizations are performed. We demonstrate this approach with experiments on twenty real-life datasets for density estimation, using tree graphical models as leaves. Our model outperforms state-of-the-art methods for parameter learning despite using SPNs with much fewer parameters.

研究の動機と目的

• 和積ネットワーク（SPN）における複雑で任意のリーフ分布を学習するという未解決の問題に取り組むこと。これは、それ以外の場合は指標などの単純な分布に限定されるためである。
• 容量の大きなリーフ分布を訓練するための原理的かつスケーラブルな手法を開発し、同時に推論の tractable（扱いやすさ）を維持すること。
• 正確または近似の両方の最尤推定が可能な任意の分布を、SPNのリーフとして使用可能にする。
• リーフに複雑さをモデル化することで、大規模で深いSPN構造の必要性が減少することを示すこと。

提案手法

• SPN構造とそのエンコードされた混合モデルの一部との間の理論的関係を確立することで、SPNにおける新しいEMアルゴリズムを導出する。これにより、リーフの更新が重み付き最尤推定に帰着される。
• リーフパラメータのMステップを、SPNの構造と活性化確率から導出される重みを用いた重み付き最尤推定問題に変換する。
• SPN出力のリーフノードに関する微分を用いて、各リーフ分布の更新に適した有効サンプル重みを計算する。
• Mステップが部分的に最適化されても、各EMステップで改善が保証されるようにすることで収束を確保する。
• リーフ分布が指数型分布族に属する場合には、効率的な閉形式解を用いて最適化を実現する。
• 本手法を、木構造のグラフィカルモデルをリーフに持つSPNに適用し、柔軟で高容量の密度モデリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 原理的EMフレームワークを用いて、SPNにおける複雑で任意のリーフ分布を学習可能か？
• RQ2 リーフの更新を重み付き最尤推定問題に変換することで、効率的かつスケーラブルな訓練が可能か？
• RQ3 複雑で学習可能なリーフを持つSPNは、パラメータ数を減らしても、単純なリーフを持つ標準的なSPNよりも密度推定で優れた性能を示せるか？
• RQ4 Mステップで部分最適化が行われる場合でも、EMアルゴリズムの収束が保証されるか？
• RQ5 本手法は、正確な最尤推定が必要な分布を含め、幅広い分布に適用可能か？

主な発見

• 提案手法のEM法は、SPNのエッジ数に対して線形の計算コストを達成し、複雑なリーフ分布の効率的学習を可能にする。
• Mステップが部分的に最適化されても収束が保証されるため、近似推論に対しても頑健で実用的である。
• 20の実世界の密度推定データセットにおいて、本手法は、パラメータ数を著しく減らしながらも、最先端のパrameter学習手法を上回った。
• 本手法により、最尤推定が可能な任意の分布（正確または近似の両方を含む）をリーフとして使用可能とし、適用可能なリーフモデルの範囲を大幅に拡大した。
• 結果から、モデルの容量をSPN構造からリーフ分布に移すことで、大規模で深いSPNアーキテクチャの必要性が減少することが示唆された。
• 指数型分布族のリーフでは、Mステップが一意のグローバル最適解を持つため、効率的な閉形式更新が可能である。