[论文解读] A Geometric Perspective on Autoencoders

Yonghyeon Lee|arXiv (Cornell University)|Sep 15, 2023

Generative Adversarial Networks and Image SynthesisComputer Science被引用 3

一句话总结

本文提出了一种自编码器的几何框架，揭示了原始自编码器由于流形学习的病态性，通常会学习到错误的流形和扭曲的潜在空间。为解决此问题，提出通过雅可比矩阵的畸变最小化实现等距正则化，从而获得保持几何结构的表示，隐式地保留了内在曲率，实验结果表明其在流形重建和潜在空间保真度方面表现优异。

ABSTRACT

This paper presents the geometric aspect of the autoencoder framework, which, despite its importance, has been relatively less recognized. Given a set of high-dimensional data points that approximately lie on some lower-dimensional manifold, an autoencoder learns the extit{manifold} and its extit{coordinate chart}, simultaneously. This geometric perspective naturally raises inquiries like "Does a finite set of data points correspond to a single manifold?" or "Is there only one coordinate chart that can represent the manifold?". The responses to these questions are negative, implying that there are multiple solution autoencoders given a dataset. Consequently, they sometimes produce incorrect manifolds with severely distorted latent space representations. In this paper, we introduce recent geometric approaches that address these issues.

研究动机与目标

• 识别原始自编码器在流形学习中的基本几何缺陷，例如学习错误的流形和扭曲的潜在空间。
• 将自编码器框架形式化为从高维数据中同时学习流形及其坐标图。
• 通过引入几何约束来解决流形学习的病态性，以在潜在空间中保持结构保真度。
• 开发一种实用的、可微的正则化方法，利用雅可比矩阵和海森矩阵信息最小化解码器映射中的几何畸变。
• 证明最小化畸变可隐式保留内在曲率，与高斯的著名定理（Theorema Egregium）一致。

提出的方法

• 将自编码器重新解释为通过解码器 $ f_\theta $ 学习可微流形，编码器 $ g_\phi $ 提供其逆映射。
• 提出一种基于解码器雅可比矩阵的畸变度量，定义为 $ J_{f_\theta}^T H J_{f_\theta} $ 的平方迹与迹的平方之比，用于捕捉局部几何畸变。
• 使用 Huchinson 的迹估计器，通过随机高斯向量 $ v, w $ 高效近似畸变度量，从而实现对雅可比-向量积的反向传播。
• 从编码器输出构建依赖于数据的概率测度 $ P $，用于采样潜在点以估计畸变。
• 将重建损失与等距正则化项结合，使用超参数 $ \alpha $，形成最终损失：$ \|x - F_{\theta,\phi}(x)\|^2 + \alpha \cdot \frac{\mathbb{E}_v[v^T (J^T H J)^2 v]}{\mathbb{E}_w[w^T J^T H J w]^2} $。
• 在大多数实验中使用恒等度量 $ H = I $，但讨论了在点云流形中使用非平凡度量（如 Info-Riemannian 度量）的潜力。

实验结果

研究问题

• RQ1 自编码器框架能否通过几何视角重新诠释，以更好地理解其在流形学习中的局限性？
• RQ2 为何原始自编码器即使在重建误差为零的情况下，仍常无法学习到正确的底层流形？
• RQ3 如何定量测量并最小化潜在空间中的几何畸变（如长度、角度和体积的错误保留）？
• RQ4 几何畸变最小化与学习流形中内在曲率保留之间有何关系？
• RQ5 环境度量 $ H $ 的选择如何影响解码流形的几何结构以及潜在表示的质量？

主要发现

• 原始自编码器在流形学习中本质上是病态的，因为存在无穷多个流形可以完美重建训练数据，导致学习到错误或过拟合的流形。
• 所提出的等距正则化自编码器（IRAE）显著降低了潜在空间中的几何畸变，定性比较显示 IRAE 保持了形状与间距，而标准 AE 则产生畸变。
• 基于解码器雅可比矩阵与海森矩阵的畸变度量可实现有效的正则化，隐式最小化了内在曲率，与高斯的著名定理（Theorema Egregium）一致。
• 使用 Huchinson 的迹估计器可通过雅可比-向量积高效计算畸变度量，使方法可扩展至深层网络。
• 实验表明，IRAE 生成的潜在空间中，即使在复杂流形（如 $ \mathbb{R}^3 $ 中带孔的方形表面）上，距离和角度等几何量也得到良好保留。
• 该方法表明，等距正则化可产生更忠实且可解释的表示，尤其在真实流形具有零内在曲率的情况下表现更优。