[論文レビュー] A Unified Approach for Learning the Parameters of Sum-Product Networks

Han Zhao, Pascal Poupart+1 more|arXiv (Cornell University)|Jan 3, 2016

Product Development and Customization参考文献 24被引用数 25

ひとこと要約

本稿では、最尤推定を用いたSum-Product Network (SPN) パラメータの統一的枠組みを提案し、SPNが混合木と同等であり、パラメータ学習をシグノミアル計画として定式化することを示している。効率的な2つのアルゴリズム、逐次単項近似 (SMA) と凹凸分解法 (CCCP) を導入し、射影を回避する乗法的更新を可能にした。CCCPはPGD、EG、SMAに比べて収束が速く、より安定しており、SPN構造学習の微調整に用いることで最先端の手法を上回る性能を発揮した。

ABSTRACT

We present a unified approach for learning the parameters of Sum-Product networks (SPNs). We prove that any complete and decomposable SPN is equivalent to a mixture of trees where each tree corresponds to a product of univariate distributions. Based on the mixture model perspective, we characterize the objective function when learning SPNs based on the maximum likelihood estimation (MLE) principle and show that the optimization problem can be formulated as a signomial program. We construct two parameter learning algorithms for SPNs by using sequential monomial approximations (SMA) and the concave-convex procedure (CCCP), respectively. The two proposed methods naturally admit multiplicative updates, hence effectively avoiding the projection operation. With the help of the unified framework, we also show that, in the case of SPNs, CCCP leads to the same algorithm as Expectation Maximization (EM) despite the fact that they are different in general.

研究の動機と目的

• 射影を伴うステップに依存する点で、SPNパラメータ学習における投影勾配降下法 (PGD) と指数勾配法 (EG) の限界、特に収束が遅いことへの対処。
• PGD、EG、SMA、EM の既存のSPNパラメータ学習手法を、シグノミアル計画と混合モデルに基づく単一の理論的枠組みで統一すること。
• 逐次単項近似 (SMA) と凹凸分解法 (CCCP) を用いて、射影を不要とする効率的な最適化アルゴリズムの開発。
• CCCPが一般に異なる定式化を持つにもかかわらず、SPNにおいてEMと数学的に同等であることを示し、実験的性能が優れていることを示すこと。
• 構造学習の後にCCCPを微調整ステップとして適用することで、モデルサイズを増大させずにSPNのモデリング精度を向上させ、最先端の結果を達成すること。

提案手法

• 任意の完全かつ分解可能なSPNが、一変量分布の積に対応する木の混合モデルと同等であることを証明する。
• 最尤推定 (MLE) の下でSPNパラメータ学習をシグノミアル計画 (SP) として定式化し、凸緩和技術を可能にする。
• シグノミアル計画を、CCCPとSMAに使用可能な凸関数と凹関数の差分 (DCP) 形式に変換する。
• 2つの最適化アルゴリズムを構築：SMAは逐次単項近似を用い、CCCPは凸-凹分解を用いる。両者とも乗法的更新を可能にする。
• CCCPが一般に異なる定式化を持つにもかかわらず、SPNにおいてEMアルゴリズムと数学的に同等であることを示す。
• 構造学習（例：LearnSPN）の後にCCCPを微調整手順として適用し、モデルサイズを増大させずに尤度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 混合モデルとシグノミアル計画に基づく単一の理論的枠組みで、SPNパラメータ学習を統一できるか？
• RQ2 SMAとCCCPは、PGDとEGに比べて収束速度、安定性、尤度性能の点でどのように異なるか？
• RQ3 CCCPアルゴリズムはSPNにおいてEMと同等であるか？もしそうならば、どのような条件下で成立するか？
• RQ4 CCCPは、LearnSPNのような既存のSPN構造学習アルゴリズムの性能を顕著に向上させられるか？
• RQ5 提案された枠組みは、パラメータの正の制約を尊重する効率的で射影を不要とする最適化を可能にするか？

主な発見

• CCCPは20のベンチマークデータセット全体でPGD、EG、SMAに比べて収束が速く、より安定しており、テスト尤度の点で統計的に有意な改善を示した。
• 20のデータセットのうち16でCCCPがPGD、EG、SMAに比べて平均テスト尤度が高く、10のデータセットで最高の尤度を記録した。
• LearnSPNの微調整にCCCPを適用した場合、モデルサイズを大幅に小さくしたにもかかわらず、7つのデータセットで最先端のID-SPNを同等または上回る性能を達成した。
• LearnSPNの後にCCCPを適用することで、バリデーションセットの尤度スコアが向上し、一般化性能の向上と過学習の低減が示された。
• この枠組みにより、PGDとEGがシグノミアル計画の一次近似であるのに対し、SMAとCCCPは高次緩和であることが明らかになり、相対的な性能差の説明が可能になった。
• CCCPはSPNにおいて数学的にEMアルゴリズムと同等であることが示され、従来のEM更新式の不整合を解消し、正しさを裏付けた。