[论文解读] Autoencoders

Dor Bank, Noam Koenigstein+1 more|arXiv (Cornell University)|Mar 12, 2020

Time Series Analysis and Forecasting被引用 123

一句话总结

对自编码器类型、正则化方法、变分自编码器及其广泛应用和高级扩展的全面综述。

ABSTRACT

An autoencoder is a specific type of a neural network, which is mainly designed to encode the input into a compressed and meaningful representation, and then decode it back such that the reconstructed input is similar as possible to the original one. This chapter surveys the different types of autoencoders that are mainly used today. It also describes various applications and use-cases of autoencoders.

研究动机与目标

• 定义自编码器框架并形式化编码器/解码器目标。
• 解释防止学习单位函数(identity function)并促进有意义表示的正则化策略。
• 介绍变分自编码器及其通过变分推断进行优化。
• 调查自编码器在生成、分类、聚类、异常检测和推荐系统中的常见应用。
• 讨论高级自编码器技术及它们与GANs及其他生成模型的关系。

提出的方法

• 描述使用编码器A和解码器B来最小化重构损失的基本自编码器目标。
• 讨论瓶颈和正则化以避免恒等映射并促进有意义的潜在表示。
• 展示并解释去噪自编码器、稀疏自编码器和收缩自编码器作为正则化方案。
• 引入带证据下界的变分自编码器及用于梯度优化的重参数化技巧。
• 解释如何通过因子化潜在表示来调整KL项以促进解耦的潜在表示。
• 概述重参数化技巧以及通过小批量随机优化进行实际训练。

实验结果

研究问题

• RQ1 正则化技术如何影响自编码器学习表示的质量和泛化能力？
• RQ2 在学习有意义的潜在空间方面，标准自编码器、去噪自编码器、收缩自编码器和稀疏自编码器之间有什么区别？
• RQ3 变分自编码器和解耦自编码器如何表述并优化概率潜在表示？
• RQ4 自编码器在生成、分类、聚类和异常检测方面的主要应用是什么？
• RQ5 自编码器如何与基于GAN的生成模型集成或对比？

主要发现

• 正则化方法防止简单的恒等映射并产生有信息量的潜在表示。
• 去噪、自稀疏和收缩自编码器为学习到的特征提供鲁棒性及基于鲁棒性的正则化。
• 变分自编码器引入了带下界目标的概率框架以及用于可扩展训练的重参数化技巧。
• 解耦自编码器利用一个β因子来鼓励潜在特征的相关性降低并获得更可解释的因素。
• 自编码器可以作为生成模型、用于分类或聚类的特征提取，以及用于异常检测和推荐系统。
• 与GAN及对抗性训练的高级混合解决了如VAE输出模糊和GAN模式崩溃等局限性。