[论文解读] On Nonparametric Guidance for Learning Autoencoder Representations

Jasper Snoek, Ryan P. Adams+1 more|arXiv (Cornell University)|Feb 8, 2011

Gaussian Processes and Bayesian Inference参考文献 24被引用 12

一句话总结

本文提出了一种用于自编码器的非参数化引导机制，利用高斯过程隐式地强制从潜在表征到标签信息的平滑映射，而无需显式参数化该映射。通过在这些映射上进行边缘化，该方法提升了判别性表征学习性能，并在非卷积的NORB数据集上实现了最先进性能（94.28%准确率），同时有效分离了光照和旋转等无关变化。

ABSTRACT

Unsupervised discovery of latent representations, in addition to being useful for density modeling, visualisation and exploratory data analysis, is also increasingly important for learning features relevant to discriminative tasks. Autoencoders, in particular, have proven to be an effective way to learn latent codes that reflect meaningful variations in data. A continuing challenge, however, is guiding an autoencoder toward representations that are useful for particular tasks. A complementary challenge is to find codes that are invariant to irrelevant transformations of the data. The most common way of introducing such problem-specific guidance in autoencoders has been through the incorporation of a parametric component that ties the latent representation to the label information. In this work, we argue that a preferable approach relies instead on a nonparametric guidance mechanism. Conceptually, it ensures that there exists a function that can predict the label information, without explicitly instantiating that function. The superiority of this guidance mechanism is confirmed on two datasets. In particular, this approach is able to incorporate invariance information (lighting, elevation, etc.) from the small NORB object recognition dataset and yields state-of-the-art performance for a single layer, non-convolutional network.

研究动机与目标

• 为解决在不显式参数化标签映射的情况下，引导自编码器学习对判别性任务有用的潜在表征的挑战。
• 通过非参数化方式整合相关信息（如光照、视角等），实现对无关数据变换的不变性。
• 通过确保从潜在空间到标签信息之间存在平滑的非参数化映射，而不固定参数形式，从而提升表征质量。
• 证明通过高斯过程对函数映射进行边缘化，相比参数化方法能带来更好的泛化性能。

提出的方法

• 该方法将自编码器的潜在空间视为高斯过程潜在变量模型（GPLVM）的输入空间，而标签则作为可观测输出。
• 采用反向约束GPLVM联合训练自编码器与高斯过程，从而在所有可能的从潜在码到标签的映射上实现边缘化。
• 对隐藏单元的不同分区分别应用不同的高斯过程，每类均根据标签类型定制：离散类别使用线性核，角度（方位角）标签使用周期性核，连续标签（仰角）使用标准高斯过程。
• 该方法允许根据不同标签类型灵活选择核函数，例如对旋转不变性使用周期性核，这在参数化模型中难以实现。
• 模型通过在20%像素被破坏的去噪自编码器目标下进行端到端训练，测试性能通过在学习到的隐藏单元上进行逻辑回归评估。
• 该方法避免学习固定分类器，而是将标签预测视为非参数推理问题，从而为下游任务保留灵活性。

实验结果

研究问题

• RQ1 通过高斯过程的非参数化引导，是否能提升自编码器表征的判别性，而无需显式建模标签映射？
• RQ2 在从潜在码到标签的函数映射上进行边缘化，是否相比参数化引导（如逻辑回归）能带来更好的泛化性能？
• RQ3 通过将无关变化因素（如光照、旋转）作为非参数化标签信号引入，模型能否有效学习其不变性？
• RQ4 在建模不同类型标签信息时，核函数的选择（如周期性核与线性核）如何影响性能？

主要发现

• 非参数化引导的自编码器在NORB数据集上实现了94.28%的测试准确率，为浅层非卷积模型设定了新的最先进水平。
• 使用高斯过程引导全部四个标签（类别、光照、仰角、方位角）显著优于仅使用类别标签引导或参数化逻辑回归的模型。
• 采用四个高斯过程及非线性核的模型相比参数化引导（86%准确率）和单标签非参数化引导，均显著降低了测试误差。
• 仅使用由类别高斯过程引导的1200个隐藏单元训练的逻辑回归分类器达到了94.02%的准确率，表明潜在空间的一半已捕捉到判别性结构且损失极小。
• 所有标签均使用线性核的性能劣于仅类别引导（92.09% vs. 93.03%），凸显了在非参数化引导中核函数选择的重要性。
• 对方位角标签使用周期性核，有效实现了旋转不变性的建模，这是标准参数化模型难以实现的能力。