[论文解读] A Minimalistic Approach to Sum-Product Network Learning for Real Applications

Viktoriya Krakovna, Moshe Looks|arXiv (Cornell University)|Feb 12, 2016

Bayesian Modeling and Causal Inference参考文献 7被引用 3

一句话总结

本文提出了MiniSPN，这是一种简化版、更快的Sum-Product Network（SPN）学习算法LearnSPN的变体，能够处理缺失数据和异质特征——这在现实世界应用（如Google知识图谱）中很常见。MiniSPN通过用贪心的双聚类分裂策略替代复杂的聚类方法，提升了易用性，消除了超参数调优和EM重启动，且在基准数据集和真实世界数据集上均实现了显著降低的运行时间，同时保持了具有竞争力的性能。

ABSTRACT

Sum-Product Networks (SPNs) are a class of expressive yet tractable hierarchical graphical models. LearnSPN is a structure learning algorithm for SPNs that uses hierarchical co-clustering to simultaneously identifying similar entities and similar features. The original LearnSPN algorithm assumes that all the variables are discrete and there is no missing data. We introduce a practical, simplified version of LearnSPN, MiniSPN, that runs faster and can handle missing data and heterogeneous features common in real applications. We demonstrate the performance of MiniSPN on standard benchmark datasets and on two datasets from Google's Knowledge Graph exhibiting high missingness rates and a mix of discrete and continuous features.

研究动机与目标

• 解决现有SPN学习算法假设数据完全可观测、且为离散特征的局限性，这在现实世界应用中并不现实。
• 提升在高缺失率和混合离散/连续特征数据集上SPN结构学习的效率与实用性。
• 开发一种轻量级的LearnSPN替代方案，降低计算开销，同时保持或提升预测性能。
• 实现在大规模、混乱数据集（如Google知识图谱中的数据）上可扩展且鲁棒的SPN学习。

提出的方法

• 用贪心的双聚类分裂策略替代基于EM的复杂聚类，避免EM重启动和聚类惩罚超参数。
• 对连续变量采用懒惰二元分箱，通过数据切片内的中位数分裂实现，无需预离散化即可处理连续特征。
• 通过非缺失数据子集上的独立性检验进行变量划分，采用基于阈值的独立性准则。
• 在实例聚类步骤中使用验证集似然来指导分裂决策，优先选择双聚类而非单聚类模型。
• 通过消除对聚类数量的指数先验并减少对网格搜索的依赖，简化模型学习过程。
• 将简化的聚类方法与递归划分相结合，确保可 tractable 推断和SPN结构构建。

实验结果

研究问题

• RQ1 简化版SPN学习算法是否能在显著降低运行时间和复杂度的同时，保持具有竞争力的性能？
• RQ2 与现有SPN学习方法相比，MiniSPN在具有高缺失率和混合特征类型的真实世界数据集上的表现如何？
• RQ3 在聚类过程中消除EM重启动和超参数调优是否会导致模型质量或泛化能力下降？
• RQ4 对连续变量进行懒惰离散化在多大程度上能保留信息，并提升在不完整数据上的学习效果？

主要发现

• 在Google知识图谱数据集上，MiniSPN在测试集对数似然上优于Pareto基线模型，并与Hybrid和LearnSPN性能持平或更优。
• 在Professions-10K数据集上，MiniSPN运行时间缩短至0.4秒，而Pareto为5.3秒；在Professions-100K上，MiniSPN为7.2秒，Pareto为72秒；尽管存在高缺失率，MiniSPN在所有KG数据集上均保持在10秒以内。
• 在计算最密集的基准数据集Newsgroup上，MiniSPN仅用2分钟完成，而LearnSPN耗时8小时，实现了240倍的加速。
• 在20个标准基准数据集上，MiniSPN在对数似然上与LearnSPN持平或略优，同时运行时间显著缩短，最快可减少至1/20。
• 贪心双聚类分裂策略在所有测试数据集上均优于LearnSPN的复杂聚类方法，在速度和似然上表现更优。
• MiniSPN成功处理了缺失率高达95%的数据集（如Dates-100K），在该数据集上测试对数似然达到-16.5，优于Pareto（-17.1）和Hybrid（-16.7）。