[论文解读] Deep Generalized Convolutional Sum-Product Networks

Jos van de Wolfshaar, Andrzej Pronobis|arXiv (Cornell University)|Feb 16, 2019

Visual Attention and Saliency Detection参考文献 22被引用 4

一句话总结

该论文提出了一种新型SPN架构——深度广义卷积求和-乘积网络（DGC-SPNs），通过一种新的步长与空洞率参数化方法，将卷积操作在乘积层中进行广义化，从而在保持概率有效性的同时支持重叠感受野。DGC-SPNs在多个数据集上的图像修复与分类任务中均达到最先进性能，显著优于现有SPN模型，并通过基于Keras/TensorFlow的库实现了可扩展、GPU优化的实现。

ABSTRACT

Sum-Product Networks (SPNs) are hierarchical, graphical models that combine benefits of deep learning and probabilistic modeling. SPNs offer unique advantages to applications demanding exact probabilistic inference over high-dimensional, noisy inputs. Yet, compared to convolutional neural nets, they struggle with capturing complex spatial relationships in image data. To alleviate this issue, we introduce Deep Generalized Convolutional Sum-Product Networks (DGC-SPNs), which encode spatial features in a way similar to CNNs, while preserving the validity of the probabilistic SPN model. As opposed to existing SPN-based image representations, DGC-SPNs allow for overlapping convolution patches through a novel parameterization of dilations and strides, resulting in significantly improved feature coverage and feature resolution. DGC-SPNs substantially outperform other SPN architectures across several visual datasets and for both generative and discriminative tasks, including image inpainting and classification. These contributions are reinforced by the first simple, scalable, and GPU-optimized implementation of SPNs, integrated with the widely used Keras/TensorFlow framework. The resulting model is fully probabilistic and versatile, yet efficient and straightforward to apply in practical applications in place of traditional deep nets.

研究动机与目标

• 为解决现有SPN架构在捕捉图像数据中复杂空间关系方面存在的局限性，使其更接近CNN的建模能力。
• 在不违反有效性约束（完备性与可分解性）的前提下，实现SPN乘积层中重叠卷积感受野的构建。
• 通过广义化步长与空洞率的参数化方式，提升SPN图像表征中的特征分辨率与感受野覆盖范围。
• 开发一种可扩展、高效且GPU优化的SPN实现，集成于Keras/TensorFlow框架中，以支持实际部署。
• 在生成式与判别式视觉任务中全面验证DGC-SPNs的优越性，包括图像修复与分类任务。

提出的方法

• 提出一种新型SPN乘积层卷积操作参数化方法，通过广义化步长与空洞率，实现重叠感受野的引入。
• 通过确保求和节点与乘积节点间作用域的一致性，维持SPN的完备性与可分解性，从而保障其概率有效性。
• 利用加权求和与乘积操作，将局部特征分层聚合为全局表征，同时保持精确的概率推理能力。
• 将无权重求和输入（USI）与硬EM结合，降低路径选择偏差，提升在缺失数据任务中的性能。
• 基于Keras与TensorFlow开发新型库libspn-keras，实现DGC-SPN架构的可扩展与易用性。
• 采用标准深度学习优化技术（如Adam、Dropout）进行模型训练，同时保持完整的概率语义。

实验结果

研究问题

• RQ1 在SPN乘积层中引入重叠卷积感受野，是否能在不违反概率有效性的前提下提升特征分辨率与感受野覆盖？
• RQ2 SPN中对步长与空洞率的广义化参数化是否能提升图像识别与重建任务的性能？
• RQ3 DGC-SPNs是否在生成式与判别式图像任务中均优于现有SPN架构，达到最先进水平？
• RQ4 使用无权重求和输入（USI）结合硬EM，对SPN中路径选择偏差及性能表现有何影响？
• RQ5 基于Keras/TensorFlow的新型GPU优化实现，在可扩展性与实际可用性方面提升了多少？

主要发现

• 在所有数据集上，DGC-SPNs在图像修复任务中均取得最低MSE，其中在Olivetti数据集上提升12.7%（735 vs. 804），在Caltech 101数据集上提升12.8%（2801 vs. 3216），且使用USI时表现更优。
• 在MNIST数据集上，DGC-SPNs图像分类准确率达到98.66%，优于所有先前基于SPN的方法，包括RAT-SPN（98.19%）与Prometheus（98.37%）。
• 在Fashion MNIST数据集上，DGC-SPNs准确率达到90.74%，超越次优方法RAT-SPN（89.52%）。
• 使用无权重求和输入（USI）结合硬EM显著降低了路径选择偏差，提升了所有数据集与任务上的性能表现。
• DGC-SPNs展现出优越的可扩展性，仅使用单一共享SPN堆栈处理所有类别，而无需为每类构建子SPN，避免了类别数量增加时的性能退化问题。
• libspn-keras库支持高效、可扩展且GPU加速的训练与推理，显著提升SPN模型的可复现性与广泛应用潜力。