[论文解读] Spatial Dependency Networks: Neural Layers for Improved Generative Image Modeling

Đorđe Miladinović, Aleksandar Stanić+3 more|arXiv (Cornell University)|Mar 16, 2021

Generative Adversarial Networks and Image Synthesis参考文献 47被引用 8

一句话总结

本文提出空间依赖网络（SDNs），一种新型神经架构，通过顺序的门控机制建模空间一致性和长程依赖，从而在变分自编码器（VAEs）中提升图像生成性能。与卷积基线相比，SDN解码器在非自回归设置下显著提升了对数似然性能和解耦表征学习能力。

ABSTRACT

How to improve generative modeling by better exploiting spatial regularities and coherence in images? We introduce a novel neural network for building image generators (decoders) and apply it to variational autoencoders (VAEs). In our spatial dependency networks (SDNs), feature maps at each level of a deep neural net are computed in a spatially coherent way, using a sequential gating-based mechanism that distributes contextual information across 2-D space. We show that augmenting the decoder of a hierarchical VAE by spatial dependency layers considerably improves density estimation over baseline convolutional architectures and the state-of-the-art among the models within the same class. Furthermore, we demonstrate that SDN can be applied to large images by synthesizing samples of high quality and coherence. In a vanilla VAE setting, we find that a powerful SDN decoder also improves learning disentangled representations, indicating that neural architectures play an important role in this task. Our results suggest favoring spatial dependency over convolutional layers in various VAE settings. The accompanying source code is given at https://github.com/djordjemila/sdn.

研究动机与目标

• 通过引入基于图像空间规律性和一致性的归纳偏置，改进生成图像建模。
• 解决标准卷积层在捕捉长程空间依赖性和强制特征图空间一致性方面的局限性。
• 探究解码器架构改进是否能增强VAE中的解耦表征学习。
• 在真实和合成数据集上，评估SDN在分层与非分层VAE设置下的有效性。
• 证明SDN可作为即插即用模块，提升多样化图像生成与表征学习任务的性能。

提出的方法

• SDN引入一种顺序门控机制，通过在2D空间位置间传播上下文信息，对特征图进行逐层精炼，确保空间一致性。
• 每个SDN层使用共享的可学习确定性函数，基于空间邻近性和相似性，计算对特征向量的条件修正。
• 该架构设计为具有空间等变性——参数共享确保平移不变性，类似于CNN，但增强了长程依赖建模能力。
• SDN被集成到分层和普通VAE的解码器中，替代标准的转置卷积或转置卷积层。
• 采用标准指标进行评估：负ELBO（每维比特数）、对数似然和解耦分数（β-VAE与FactorVAE）。
• 训练采用β退火策略，以减轻后验坍缩问题，尤其在非分层VAE设置中。

实验结果

研究问题

• RQ1 与标准卷积解码器相比，是否一种显式建模空间一致性和长程依赖的神经架构能提升VAE中的图像生成性能？
• RQ2 在CIFAR10和ImageNet32等真实世界图像数据集上，将SDN集成到VAE解码器中是否能带来更好的密度估计？
• RQ3 在非分层VAE中，SDN是否能提升解耦表征学习，特别是在使用β-VAE和FactorVAE指标时？
• RQ4 在高分辨率图像生成中，SDN表现如何，尤其是在高采样温度下，此时一致性至关重要？
• RQ5 表征学习的改进是源于架构容量，还是源于对空间归纳偏置的显式建模？

主要发现

• 在CIFAR10和ImageNet32上，SDN-VAE在测试集上达到7.95 ± 0.07比特每维度（BPD）的对数似然，显著优于CNN基线的7.40 ± 0.07 BPD。
• 在3D-Shapes合成数据集上，基于SDN的VAE实现负ELBO为2.66 ± 0.04 BPD，而CNN基线为4.44 ± 0.04 BPD，表明其密度估计能力更优。
• 在不同β值下，基于SDN的VAE在β-VAE和FactorVAE指标上均表现出更优的解耦性能，表明潜在因子解耦性得到提升。
• 在CelebAHQ256上进行高分辨率图像生成时，SDN生成了感知一致且高质量的样本，即使在高采样温度下，标准模型常出现失败。
• 尽管未使用教师强制训练，解耦性提升依然可观，且通过β退火有效缓解了后验坍缩问题。
• 结果表明，架构设计——特别是对空间一致性的建模——在实现解耦表征学习中起着关键作用，挑战了‘强大解码器必然损害表征学习’的既有观点。