[论文解读] High-dimensional Asymptotics of Denoising Autoencoders

Hugo Cui, Lenka Zdeborová|arXiv (Cornell University)|May 18, 2023

Image and Signal Denoising Methods被引用 6

一句话总结

本文通过复制方法对权重共享且具有跳跃连接的去噪自编码器（DAE）进行了严格的高维渐近分析，推导出去噪均方误差（MSE）的闭式表达式。结果表明，DAE相较于基于主成分分析（PCA）的去噪方法具有Θ(d)的性能优势，并量化了跳跃连接与瓶颈在去噪和特征保持中的互补作用。

ABSTRACT

We address the problem of denoising data from a Gaussian mixture using a two-layer non-linear autoencoder with tied weights and a skip connection. We consider the high-dimensional limit where the number of training samples and the input dimension jointly tend to infinity while the number of hidden units remains bounded. We provide closed-form expressions for the denoising mean-squared test error. Building on this result, we quantitatively characterize the advantage of the considered architecture over the autoencoder without the skip connection that relates closely to principal component analysis. We further show that our results accurately capture the learning curves on a range of real data sets.

研究动机与目标

• 理论表征具有权重共享和跳跃连接的两层非线性自编码器在高维设置下的去噪性能。
• 量化DAE架构相较于标准自编码器和PCA在测试误差方面的优势，特别是在有限样本复杂度下的表现。
• 为关键学习指标（如MSE、权重范数和与聚类均值的余弦相似度）提供精确的渐近闭式表达式。
• 通过真实数据（包括MNIST和FashionMNIST）验证理论预测，展示理论与实证结果的强一致性。
• 通过定量分析，厘清跳跃连接与非线性瓶颈在去噪过程中的功能角色。

提出的方法

• 应用复制方法，在n, d → ∞且α = n/d = Θ(1)的高维极限下计算渐近统计量。
• 推导出去噪MSE、权重范数、跳跃连接强度以及权重与聚类均值之间余弦相似度的闭式表达式。
• 利用Moreau包络形式将DAE与重构自编码器（RAE）关联，并在极限情况下恢复已知的PCA结果。
• 采用各向同性协方差和固定范数聚类均值的高斯混合模型作为数据分布。
• 通过在真实数据集（MNIST、FashionMNIST）上使用全批量Adam优化进行数值模拟，验证理论预测。
• 通过渐近度量分析降噪（通过瓶颈）与数据结构保持（通过跳跃连接）之间的权衡。

Figure 1: $\alpha=1,K=2,\rho_{1,2}=\nicefrac{{1}}{{2}},\bm{\Sigma}_{1,2}=0.09\times\mathbb{I}_{d},p=1,\lambda=0.1,\sigma(\cdot)=\tanh(\cdot)$ ; the cluster mean $\bm{\mu}_{1}=-\bm{\mu}_{2}$ was taken as a random Gaussian vector of norm $1$ . (left) In blue, the difference in MSE between the full DAE

实验结果

研究问题

• RQ1 在高维极限下，具有权重共享和跳跃连接的两层DAE的去噪均方误差（MSE）行为如何？
• RQ2 在测试MSE方面，DAE与基于PCA的去噪方法之间的性能差距在数量上有多大？
• RQ3 跳跃连接与非线性瓶颈如何独立地贡献于DAE的去噪能力？
• RQ4 理论预测在MNIST和FashionMNIST等真实数据的学习曲线上与实际结果的匹配程度如何？
• RQ5 随着样本复杂度α的变化，DAE的性能在多大程度上趋近理论下限？

主要发现

• DAE的测试MSE相较于PCA具有Θ(d)的优越性，表明DAE并未简单地学习执行PCA。
• 推导出去噪MSE、权重范数和余弦相似度的闭式表达式，并在MNIST和FashionMNIST上的数值模拟中显示出高度一致性。
• 跳跃连接与非线性瓶颈发挥互补作用：前者保留数据细节，后者去除噪声，训练过程体现了这两种功能之间的权衡。
• 无跳跃连接的RAE情形受制于PCA的测试误差，理论结果定量刻画了RAE如何随样本复杂度α趋近该边界。
• 复制方法成功刻画了DAE非凸优化景观，即使在存在非线性和权重共享的情况下，仍能提供精确的渐近结果。
• 理论框架在极限情况下恢复了Eckart-Young定理，确认PCA是最优线性去噪方法，但表明DAE在非线性设置下表现更优。

Figure 4: Illustration of the denoised image for the various networks and algorithms. (a) original image (b) noisy image, for $\sqrt{\Delta}=0.2$ (c) trained rescaling $\hat{r}$ ( 4 ) (d) full DAE $\hat{f}$ ( 3 ) (e) bottleneck network $\hat{u}$ ( 4 ) (f) PCA. The DAE and training parameters are the