[论文解读] Deep Generalized Convolutional Sum-Product Networks for Probabilistic Image Representations

Jos van de Wolfshaar, Andrzej Pronobis|arXiv (Cornell University)|Feb 16, 2019

Machine Learning in Materials Science被引用 5

一句话总结

本文提出深度广义卷积和-积网络（DGC-SPNs），一种新型SPN架构，通过参数化乘积-求和结构，利用重叠、空洞和步长大 receptive fields 来建模图像中的空间依赖性。该方法实现了精确、高效的推理，在多个数据集上的图像生成、分类和补全任务中均达到最先进性能，相较于先前的卷积SPN，特征分辨率和覆盖范围均有提升。

ABSTRACT

Sum-Product Networks (SPNs) are hierarchical, probabilistic graphical models capable of fast and exact inference that can be trained directly from high-dimensional, noisy data. Traditionally, SPNs struggle with capturing relationships in complex spatial data such as images. To this end, we introduce Deep Generalized Convolutional Sum-Product Networks (DGC-SPNs), which encode spatial features through products and sums with scopes corresponding to local receptive fields. As opposed to existing convolutional SPNs, DGC-SPNs allow for overlapping convolution patches through a novel parameterization of dilation and strides, resulting in significantly improved feature coverage and feature resolution. DGC-SPNs substantially outperform other convolutional and non-convolutional SPN approaches across several visual datasets and for both generative and discriminative tasks, including image completion and image classification. In addition, we demonstrate a modificiation to hard EM learning that further improves the generative performance of DGC-SPNs. While fully probabilistic and versatile, our model is scalable and straightforward to apply in practical applications in place of traditional deep models. Our implementation is tensorized, employs efficient GPU-accelerated optimization techniques, and is available as part of an open-source library based on TensorFlow.

研究动机与目标

• 为解决传统和-积网络（SPNs）在建模图像中复杂空间结构方面的局限性。
• 通过新型空洞与步长参数化方法，实现卷积块的重叠，从而提升 SPNs 中的特征覆盖范围与分辨率。
• 开发一种完全概率化、可扩展的深度模型，使其在生成与判别性图像任务中均表现优异。
• 通过改进的硬 EM 训练流程，提升生成建模效率与性能。
• 提供一种实用、开源、支持 GPU 加速的实现，适用于真实世界部署。

提出的方法

• DGC-SPNs 采用分层架构，其中乘积与求和操作作用于可配置空洞与步长的局部 receptive fields，实现重叠的空间覆盖。
• 通过广义化的空洞与步长公式化卷积操作，实现灵活且密集的特征表示。
• 通过对应于局部图像块的求和-乘积结构捕获空间特征，实现精确且高效的概率推理。
• 架构经过张量化并利用 GPU 加速技术进行优化，支持可扩展的训练与推理。
• 提出一种改进的硬 EM 学习策略，通过优化潜在变量更新，提升生成建模性能。
• 模型基于 TensorFlow 实现，并作为开源库发布，具备广泛适用性。

实验结果

研究问题

• RQ1 SPNs 是否能通过结构化卷积参数化有效建模图像中的复杂空间依赖性？
• RQ2 具有可变空洞与步长的重叠卷积 receptive fields 如何提升 SPNs 中的特征表示能力？
• RQ3 DGC-SPNs 在图像生成与分类任务中，相较于现有卷积与非卷积 SPN 模型，性能提升程度如何？
• RQ4 对硬 EM 学习流程的改进是否显著增强了 SPNs 的生成能力？
• RQ5 DGC-SPNs 是否能在保持高性能的同时，实现可扩展性与实际应用可行性？

主要发现

• DGC-SPNs 在多个图像数据集上，于生成与判别性任务中均达到最先进性能，包括图像补全与分类。
• 由于采用重叠、空洞与步长大 receptive fields，该模型在特征覆盖范围与分辨率方面优于先前的卷积 SPN。
• 改进的硬 EM 训练流程在生成建模质量上带来可测量的提升，尤其在重建效果与似然度指标方面表现突出。
• DGC-SPNs 保持精确且高效的推理，支持在 GPU 加速硬件上实现快速训练与部署。
• 开源的 TensorFlow 实现使模型易于集成与部署，在所有评估基准上均优于现有 SPN 基线模型。
• 该模型的可扩展性与多功能性，使其成为概率视觉任务中传统深度学习模型的有力替代方案。