[论文解读] An Introduction to Autoencoders

Umberto Michelucci|arXiv (Cornell University)|Jan 11, 2022

Anomaly Detection Techniques and Applications被引用 119

一句话总结

本文介绍自编码器及其架构（编码器、潜在表示、解码器）、训练目标、损失函数，以及包括降维、去噪、异常检测和使用潜在特征进行分类等关键应用。

ABSTRACT

In this article, we will look at autoencoders. This article covers the mathematics and the fundamental concepts of autoencoders. We will discuss what they are, what the limitations are, the typical use cases, and we will look at some examples. We will start with a general introduction to autoencoders, and we will discuss the role of the activation function in the output layer and the loss function. We will then discuss what the reconstruction error is. Finally, we will look at typical applications as dimensionality reduction, classification, denoising, and anomaly detection. This paper contains the notes of a PhD-level lecture on autoencoders given in 2021.

研究动机与目标

• 解释自编码器是什么，以及它们为何在除了重建输入之外也有用。
• 描述标准自编码器的架构及潜在瓶颈的作用。
• 讨论常用的训练损失（MSE 和二元交叉熵）及激活函数的选择。
• 说明自编码器如何实现降维并为下游任务进行特征提取。
• 总结包括去噪和异常检测在内的应用，并给出基于 MNIST 的实用示例。

提出的方法

• 展示三部分组成的自编码器结构：编码器、潜在表示和解码器。
• 解释瓶颈作为降维约束，防止简单地复制输入。
• 讨论促进有意义潜在表示的正则化技术。
• 描述训练目标为在整个数据集上最小化重构损失。
• 详细说明输出层的激活选择（ReLU 或 sigmoid）及相应的损失函数（MSE 或 BCE）。
• 使用基于 MNIST 的示例来说明潜在特征如何实现降维并加速分类。

实验结果

研究问题

• RQ1 自编码器由何组成以及其潜在表示如何学习？
• RQ2 瓶颈和正则化如何影响学习表示的质量与效用？
• RQ3 在数据归一化的情况下，哪些损失函数和激活选择适合自编码器？
• RQ4 潜在特征在降维、分类和异常检测方面能提供哪些实际收益？

主要发现

• 自编码器通过通过编码器–潜在–解码器管线来重构输入，从而学习有信息量的潜在表示。
• 瓶颈强制降维，使所学特征更加紧凑，便于下游任务使用。
• MSE 和 BCE 是常见的损失函数；BCE 需要归一化输入和 sigmoid 输出，而 MSE 广泛适用。
• 潜在特征可以显著加速分类（如 kNN），相比使用全部输入时的精度损失较小。
• 自编码器可用于降维，相比 PCA 在处理非线性变换和通过小批量训练处理大数据集方面具有优势。
• 去噪自编码器和异常检测通过从带噪数据中重构干净输入并基于重构误差识别离群点，展示了实际应用。