[论文解读] Learning invariant features through local space contraction

Salah Rifai, Xavier Muller+4 more|arXiv (Cornell University)|Apr 21, 2011

Model Reduction and Neural Networks参考文献 22被引用 16

一句话总结

本文提出了一种新型正则化自编码器——收缩自编码器（CAE），通过最小化编码器的雅可比矩阵的Frobenius范数，实现局部空间收缩，增强对小输入扰动的不变性，从而提升特征学习能力。该方法在多个基准数据集上用于预训练深度神经网络时，实现了最先进（state-of-the-art）的分类性能。

ABSTRACT

We present in this paper a novel approach for training deterministic auto-encoders. We show that by adding a well chosen penalty term to the classical reconstruction cost function, we can achieve results that equal or surpass those attained by other regularized auto-encoders as well as denoising auto-encoders on a range of datasets. This penalty term corresponds to the Frobenius norm of the Jacobian matrix of the encoder activations with respect to the input. We show that this penalty term results in a localized space contraction which in turn yields robust features on the activation layer. Furthermore, we show how this penalty term is related to both regularized auto-encoders and denoising encoders and how it can be seen as a link between deterministic and non-deterministic auto-encoders. We find empirically that this penalty helps to carve a representation that better captures the local directions of variation dictated by the data, corresponding to a lower-dimensional non-linear manifold, while being more invariant to the vast majority of directions orthogonal to the manifold. Finally, we show that by using the learned features to initialize a MLP, we achieve state of the art classification error on a range of datasets, surpassing other methods of pre-training.

研究动机与目标

• 开发一种表示学习方法，以增强对小输入变化的鲁棒性，同时保留数据特有的结构。
• 解决当前对某些自编码器变体在深度学习中泛化性能更优的原因缺乏理论理解的问题。
• 提出一种正则化技术，鼓励学习到的特征具有局部不变性，且无需对数据的可变因素作先验假设。
• 通过证明所提出的惩罚项与正则化自编码器和去噪自编码器均存在联系，弥合确定性与非确定性自编码器之间的鸿沟。
• 通过实证验证，该方法通过使用CAE进行预训练，能够提升深度网络的泛化能力，实现更优的分类准确率。

提出的方法

• 该方法引入基于编码器激活相对于输入的雅可比矩阵Frobenius范数的惩罚项。
• 该惩罚项强制实现局部空间收缩，使表示对训练样本附近的微小输入扰动具有鲁棒性。
• 将正则化项与标准重构损失结合，以确保输入数据的忠实表示。
• 利用雅可比矩阵的奇异值谱分析学习表示的局部几何结构，揭示流形结构特征。
• 通过堆叠多个CAE层来训练深层自编码器，提升高层表示的不变性。
• 通过使用CAE学习到的特征初始化多层感知机，并测量测试分类误差，对方法进行评估。

实验结果

研究问题

• RQ1 如何在不依赖数据增强的前提下，提升学习特征对小输入扰动的鲁棒性？
• RQ2 最小化雅可比矩阵Frobenius范数对表示空间的几何结构有何影响？
• RQ3 所提出的惩罚项与去噪自编码器和正则化自编码器等现有方法有何关联？
• RQ4 该方法在多大程度上揭示了数据潜在的低维流形结构？
• RQ5 当使用学习到的特征对深度网络进行预训练时，能否实现最先进（state-of-the-art）的分类性能？

主要发现

• 在多个基准数据集上，CAE在下游分类准确率方面始终优于标准自编码器和正则化自编码器。
• 该方法在学习不变特征方面，性能可与去噪自编码器相媲美甚至更优。
• 雅可比矩阵的奇异值谱显示，CAE能有效捕捉数据流形的局部维度，其低秩结构比标准自编码器更显著。
• 堆叠CAE可获得具有更强不变性的深层表示，表现为远离训练样本时收缩曲线更平缓。
• 收缩率分析证实，垂直于数据流形的方向被更强地收缩，而沿流形方向的特征则被较好保留。
• 当用于预训练多层感知机时，CAE学习到的特征在所有测试数据集上均实现了最先进（state-of-the-art）的分类误差。