[论文解读] Online Structure Learning for Sum-Product Networks with Gaussian Leaves

Wilson Hsu, Agastya Kalra+1 more|arXiv (Cornell University)|Jan 19, 2017

Bayesian Modeling and Causal Inference被引用 9

一句话总结

本文提出了首个针对具有高斯叶节点的求和-乘积网络（SPNs）的在线结构学习算法，实现了从数据流中进行增量式、单次遍历的学习，同时通过完备性和可分解性保持结构有效性。该方法可实时检测显著的统计相关性，并动态构建有效的SPN结构，在减少训练时间的同时实现可扩展的大规模数据集上的性能表现。

ABSTRACT

Sum-product networks have recently emerged as an attractive representation due to their dual view as a special type of deep neural network with clear semantics and a special type of probabilistic graphical model for which inference is always tractable. Those properties follow from some conditions (i.e., completeness and decomposability) that must be respected by the structure of the network. As a result, it is not easy to specify a valid sum-product network by hand and therefore structure learning techniques are typically used in practice. This paper describes the first online structure learning technique for continuous SPNs with Gaussian leaves. We also introduce an accompanying new parameter learning technique.

研究动机与目标

• 为解决传统方法中针对连续数据的高斯叶节点SPN结构构建问题，该方法旨在避免手动设计或批处理学习。
• 实现在数据流中对SPN结构进行在线、增量式学习，避免随机初始化或批处理的需要。
• 在在线更新过程中保持结构有效性（完备性与可分解性），同时检测有意义的统计相关性。
• 评估该方法在大规模基准数据集上的可扩展性与性能，重点关注似然度、模型规模与训练时间。
• 为未来与高级参数学习方法及自动复杂度控制机制的集成奠定基础。

提出的方法

• 算法从一个完全独立的结构开始，其中每个变量均为一个一元高斯叶节点。
• 当数据以流的形式到达时，使用滚动统计方法计算变量之间的成对相关性。
• 当相关性超过预设阈值（例如0.1）时，创建一个多元高斯叶节点以表示这些相关变量。
• 通过引入新的求和节点与乘积节点来更新网络，以维持完备性与可分解性，确保SPN始终保持有效结构。
• 采用最大叶节点大小约束来控制模型复杂度，防止过拟合。
• 参数学习通过使用均值、协方差与权重的滚动估计值进行增量式更新。

实验结果

研究问题

• RQ1 能否在保持结构有效性的前提下，将在线结构学习有效应用于具有高斯叶节点的连续SPN？
• RQ2 相关性阈值如何影响最终SPN的结构、规模与似然性能？
• RQ3 每个叶节点中变量的最大数量对模型性能与效率有何影响？
• RQ4 该方法在大规模数据集上的训练时间与内存使用方面具有怎样的可扩展性？
• RQ5 与批处理方法相比，该在线方法能否实现具有竞争力的似然性能？

主要发现

• 在五个基准数据集中的三个上，0.1的相关性阈值取得了最佳对数似然值，表明该阈值在检测真实相关性与避免噪声之间实现了最佳平衡。
• 在Power数据集上，随着相关性阈值提高，平均训练时间显著缩短：从阈值0.05时的197秒降至阈值0.7时的9秒。
• 在Power数据集上，随着相关性阈值提高，平均SPN规模显著减小：从阈值0.05时的24,914个节点降至阈值0.7时的11个节点。
• 每个叶节点最多包含3个变量的设置在模型性能与效率之间实现了最佳权衡，在大多数情况下优于一元叶节点与更大叶节点规模。
• GasSenH数据集在略大叶节点规模（如2–3个变量）下表现更优，而Power数据集则在使用一元叶节点时表现最佳，表明最优配置具有数据集依赖性。
• 在MSD与Network数据集上，该方法在不同阈值下均表现出稳定的似然性能，表明在高维设置下具有强鲁棒性。