[论文解读] Isometric Autoencoders

Amos Gropp, Matan Atzmon+1 more|arXiv (Cornell University)|Jun 16, 2020

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 10

一句话总结

本文提出了等距自编码器（I-AE），一种正则化自编码器框架，通过强制解码器保持局部等距（保距）特性，并利用正交投影使编码器充当其伪逆，从而实现更均匀分布、几何上忠实的低维表示。与标准自编码器及CAE、UMAP和t-SNE等基线方法相比，该方法在保持点间距离和避免原点附近拥挤方面表现更优。

ABSTRACT

High dimensional data is often assumed to be concentrated on or near a low-dimensional manifold. Autoencoders (AE) is a popular technique to learn representations of such data by pushing it through a neural network with a low dimension bottleneck while minimizing a reconstruction error. Using high capacity AE often leads to a large collection of minimizers, many of which represent a low dimensional manifold that fits the data well but generalizes poorly. Two sources of bad generalization are: extrinsic, where the learned manifold possesses extraneous parts that are far from the data; and intrinsic, where the encoder and decoder introduce arbitrary distortion in the low dimensional parameterization. An approach taken to alleviate these issues is to add a regularizer that favors a particular solution; common regularizers promote sparsity, small derivatives, or robustness to noise. In this paper, we advocate an isometry (i.e., local distance preserving) regularizer. Specifically, our regularizer encourages: (i) the decoder to be an isometry; and (ii) the encoder to be the decoder's pseudo-inverse, that is, the encoder extends the inverse of the decoder to the ambient space by orthogonal projection. In a nutshell, (i) and (ii) fix both intrinsic and extrinsic degrees of freedom and provide a non-linear generalization to principal component analysis (PCA). Experimenting with the isometry regularizer on dimensionality reduction tasks produces useful low-dimensional data representations.

研究动机与目标

• 通过消除学习到的低维流形中的外在和内在失真，解决自编码器泛化能力差的问题。
• 通过在解码器中强制实施等距性、在编码器中强制实现伪逆行为，改进流形学习。
• 提供一种非线性PCA的推广方法，保留局部距离并避免对噪声或虚假结构的过拟合。
• 证明等距正则化可使降维任务中的数据表示更加均匀且几何准确。

提出的方法

• 该方法引入一种正则化项，强制解码器的雅可比矩阵为等距矩阵，即 $\mathbf{A}^T\mathbf{A} = \mathbf{I}_d$，以确保局部距离保持不变。
• 编码器被约束为解码器的伪逆，即其雅可比矩阵 $\mathbf{B}$ 满足 $\mathbf{B} = \mathbf{A}^+$，在等距条件下可简化为 $\mathbf{B} = \mathbf{A}^T$。
• 损失函数结合了标准重建损失与两项正则化项：一项用于惩罚解码器偏离等距性的偏差，另一项用于强制实现编码器与解码器之间的伪逆关系。
• 正则化通过层级别的微分实现，与标准深度学习框架和反向传播兼容。
• 该方法在MNIST、Fashion-MNIST和COIL20数据集上应用于全连接和卷积自编码器架构。
• 对 $\lambda_{\text{iso}}$ 进行了超参数敏感性分析，结果显示在 $\lambda_{\text{iso}}$ 取值范围较广时性能稳定，仅在 $\lambda_{\text{iso}} \geq 0.75$ 时出现显著变化。

实验结果

研究问题

• RQ1 在解码器中强制实施等距性、在编码器中强制实现伪逆行为，是否能提升基于自编码器的降维方法的泛化能力？
• RQ2 I-AE 在保持点间距离和避免数据拥挤方面，与标准自编码器及其他流形学习方法（如UMAP和t-SNE）相比表现如何？
• RQ3 与非等距基线相比，等距正则化在多大程度上提升了学习到的低维流形的几何保真度？
• RQ4 I-AE 的性能对控制等距正则化强度的超参数有多敏感？
• RQ5 I-AE 框架是否能产生更均匀且单射的表示，特别是在具有旋转或对称模式的结构化数据中？

主要发现

• I-AE 生成的嵌入比标准自编码器更均匀分布，避免了CAE和普通AE中在原点附近出现的点聚集现象。
• 在 COIL20 数据集上，I-AE 成功保持了 72 度旋转下各点间的等距间距，而 UMAP 将多个类别映射到同一区域，t-SNE 则导致点间距离严重失真。
• 在 $\lambda_{\text{iso}}$ 取值范围（0.01 至 0.5）内，I-AE 表现稳定，仅在 $\lambda_{\text{iso}} = 0.75$ 及以上时出现显著退化。
• 重建损失 ($L_{\text{rec}}$) 随 $\lambda_{\text{iso}}$ 增大而稳定上升，但保持稳定且可预测，表明不存在灾难性权衡。
• 随着 $\lambda_{\text{iso}}$ 从 0 增加，等距损失 ($L_{\text{iso}}$) 和伪逆损失 ($L_{\text{piso}}$) 迅速稳定，证实了正则化的有效性。
• 尽管 UMAP 和 t-SNE 在聚类分离方面表现更优，I-AE 在保持几何结构方面优于二者，凸显了聚类分离与几何保真度之间的权衡。