[论文解读] A Generative Process for Sampling Contractive Auto-Encoders

Salah Rifai, Yoshua Bengio+2 more|arXiv (Cornell University)|Jun 27, 2012

Generative Adversarial Networks and Image Synthesis参考文献 18被引用 43

一句话总结

本文提出了一种用于收缩自编码器的生成采样过程，该过程利用编码器的雅可比矩阵所捕获的局部流形结构。通过基于雅可比矩阵的主导奇异向量和奇异值的随机过程进行采样，该方法生成的样本在不同模式间混合良好，并改善了表征学习，尤其是在堆叠多层以学习不变性时表现更优。

ABSTRACT

The contractive auto-encoder learns a representation of the input data that captures the local manifold structure around each data point, through the leading singular vectors of the Jacobian of the transformation from input to representation. The corresponding singular values specify how much local variation is plausible in directions associated with the corresponding singular vectors, while remaining in a high-density region of the input space. This paper proposes a procedure for generating samples that are consistent with the local structure captured by a contractive auto-encoder. The associated stochastic process defines a distribution from which one can sample, and which experimentally appears to converge quickly and mix well between modes, compared to Restricted Boltzmann Machines and Deep Belief Networks. The intuitions behind this procedure can also be used to train the second layer of contraction that pools lower-level features and learns to be invariant to the local directions of variation discovered in the first layer. We show that this can help learn and represent invariances present in the data and improve classification error.

研究动机与目标

• 开发一种基于原理的生成采样程序，用于收缩自编码器，以尊重局部数据流形结构。
• 实现高效且良好的跨数据模式采样，克服传统生成模型（如RBMs和DBNs）的局限性。
• 通过逐层学习低层特征的不变性，将收缩自编码器框架扩展至更深的架构。
• 通过分层收缩学习稳健且不变的表征，提升下游分类性能。

提出的方法

• 该方法基于编码器从输入空间到表征空间映射的雅可比矩阵的主导奇异向量和奇异值，定义了一种随机生成过程。
• 通过在与主导奇异向量对齐的方向上扰动学习到的表征，并按其对应的奇异值进行缩放，以保持局部密度。
• 该过程被设计为保持在输入空间的高密度区域之内，确保生成的样本在语义上合理。
• 该生成过程被迭代应用，以有效探索数据流形并实现跨模式的混合。
• 该框架支持多层堆叠，其中每一层通过聚合前一层的特征，学习对局部变化的不变性。
• 该方法利用雅可比矩阵的奇异值分解来量化局部敏感性，并引导采样朝向局部变化小、密度高的方向。

实验结果

研究问题

• RQ1 能否推导出一种生成过程，使其采样行为与收缩自编码器所捕获的局部流形结构保持一致？
• RQ2 与RBMs和DBNs等现有模型相比，所提出的采样过程在跨数据模式的混合行为上表现如何？
• RQ3 该生成过程能否扩展至更深的架构，以学习数据中的分层不变性？
• RQ4 在采样中使用局部流形结构是否能提升表征质量与分类性能？

主要发现

• 所提出的生成采样过程收敛迅速，且在不同数据模式间混合良好，在模式探索方面优于RBMs和DBNs。
• 该方法生成的样本保持在输入空间的高密度区域，语义上合理。
• 通过收缩自编码器框架堆叠多层，能够学习对局部变化的不变性，从而改善特征表征。
• 分层应用收缩机制在基准数据集上显著降低了分类误差。
• 利用雅可比矩阵的奇异向量与奇异值，为沿局部变化最小方向的采样提供了有原则的引导。