[论文解读] Texture Modeling with Convolutional Spike-and-Slab RBMs and Deep Extensions

Heng Luo, Pierre Carrier+2 more|arXiv (Cornell University)|Nov 24, 2012

Generative Adversarial Networks and Image Synthesis参考文献 20被引用 14

一句话总结

该论文提出了一种基于卷积脉冲-板条RBM（TssRBM）和一种新型RBM变体（脉冲-板条可见层与二值隐藏单元）的深度生成模型，用于纹理合成。通过将这些模型堆叠为深度置信网络（DBN），并使用对比发散（CD）训练底层，该框架在纹理合成与图像修复任务中实现了最先进性能，尤其在非平稳及多纹理场景下表现优异，优于单层模型和无监督多纹理学习基线方法。

ABSTRACT

We apply the spike-and-slab Restricted Boltzmann Machine (ssRBM) to texture modeling. The ssRBM with tiled-convolution weight sharing (TssRBM) achieves or surpasses the state-of-the-art on texture synthesis and inpainting by parametric models. We also develop a novel RBM model with a spike-and-slab visible layer and binary variables in the hidden layer. This model is designed to be stacked on top of the TssRBM. We show the resulting deep belief network (DBN) is a powerful generative model that improves on single-layer models and is capable of modeling not only single high-resolution and challenging textures but also multiple textures.

研究动机与目标

• 开发一种深度生成模型，能够合成具有复杂空间频率内容的高分辨率、非平稳自然纹理。
• 通过将脉冲-板条RBM与分块卷积权重重用相结合，改进纹理建模，实现局部不变性与高效感受野铺砌。
• 实现在无标签监督下对多种异质纹理的无监督学习，克服先前模型依赖类别标签的局限性。
• 研究训练策略（CD与PCD/FPCD）对深度模型性能及吉布斯采样中混合行为的影响。
• 证明深度结构可增强长程依赖建模能力，同时保持纹理生成中的细粒度局部结构。

提出的方法

• TssRBM采用分块卷积权重重用与非重叠感受野，实现可变尺寸纹理合成与高效局部特征建模。
• 提出一种新型RBM，其可见层为脉冲-板条结构，隐藏单元为二值化，专为在深度置信网络（DBN）中堆叠于TssRBM之上而设计。
• DBN通过贪婪逐层预训练进行训练：底层（TssRBM）使用CD-1训练，顶层则采用更接近最大似然估计的近似方法（如FPCD）。
• 该架构利用ssRBM与CD训练的兼容性，使底层实现有效特征学习，高层实现更优采样性能。
• 深度结构扩大了有效感受野，使高层能够建模空间分离区域间的长程依赖与相位一致性。
• 模型在Brodatz纹理数据集上通过定性合成与定量指标进行评估，并对训练策略与深度进行消融分析。

实验结果

研究问题

• RQ1 具有分块卷积权重重用的TssRBM能否在自然纹理数据集上实现纹理合成与图像修复的最先进性能？
• RQ2 在深度置信网络中，使用CD预训练底层是否优于PCD或FPCD预训练？
• RQ3 基于ssRBM变体构建的深度架构能否实现对多种异质纹理的无监督建模？
• RQ4 深度如何影响吉布斯采样链中的混合行为及整体模型性能？
• RQ5 所提模型在非平稳纹理中，能在多大程度上同时捕捉局部纹理细节与全局结构一致性？

主要发现

• TssRBM在多个Brodatz纹理上的纹理合成与图像修复任务中达到或超越最先进性能，尤其在具有宽广空间频率内容的非平稳纹理上表现卓越。
• 与PCD或FPCD相比，使用CD预训练底层可显著提升纹理建模性能，这与CD更有效保留输入信息并最小化早期层KL散度的理论一致。
• 采用堆叠TssRBM与新型RBM变体的深度置信网络显著提升了吉布斯链中的混合速率，表现为深层模型自相关谱衰减更快。
• 三层DBN在生成样本中成功捕捉了8种异质纹理中的7种，证明了无需标签监督即可实现有效的无监督多纹理建模。
• 深度模型优于单层TssRBM，后者仅能捕捉高频结构，无法建模全局纹理模式或多纹理组合。
• 将ssRBM整合进深度架构，通过平衡底层的局部特征学习与高层的长程依赖捕捉，实现了对复杂真实纹理的有效建模。