[论文解读] Generalization Bounds For Unsupervised and Semi-Supervised Learning With Autoencoders

Baruch Epstein, Ron Meir|arXiv (Cornell University)|Feb 4, 2019

Domain Adaptation and Few-Shot Learning参考文献 16被引用 13

一句话总结

本文提出了一种基于边距的重构损失，用于自编码器，以推导出自编码器在无监督和半监督学习中的首个泛化边界。结果表明，泛化性能良好的自编码器在降低维度的同时保留了输入结构，通过在聚类假设下权衡聚类分离度与更低维度，从而提升了半监督学习性能。

ABSTRACT

Autoencoders are widely used for unsupervised learning and as a regularization scheme in semi-supervised learning. However, theoretical understanding of their generalization properties and of the manner in which they can assist supervised learning has been lacking. We utilize recent advances in the theory of deep learning generalization, together with a novel reconstruction loss, to provide generalization bounds for autoencoders. To the best of our knowledge, this is the first such bound. We further show that, under appropriate assumptions, an autoencoder with good generalization properties can improve any semi-supervised learning scheme. We support our theoretical results with empirical demonstrations.

研究动机与目标

• 填补自编码器在无监督和半监督学习中泛化理解方面的理论空白。
• 解决自编码器旨在重建输入细微特征的目标与分类器忽略此类变化之间的根本性矛盾。
• 证明性能良好的自编码器可通过降维同时保留输入结构，从而提升任意半监督学习方案的性能。
• 扩展Singh（2008）的研究，识别出自编码器半监督学习（SSL）可提升泛化性能的条件，特别是通过权衡聚类分离度与更低维度。

提出的方法

• 提出一种基于边距的重构损失，使现有监督深度学习的泛化边界可被适配至自编码器。
• 利用该损失推导出自编码器的泛化边界，将有界重构误差与有界L2重构损失联系起来。
• 表明泛化误差较小的自编码器会诱导出非压缩的编码器，即其不会压缩大多数输入对之间的距离。
• 证明在聚类假设下，编码器会将数据映射到低维空间，其中聚类结构得以良好保留。
• 形式化定义输入聚类分离边距与表示维度之间的权衡，表明降维可提升半监督学习性能。
• 通过证明性能良好的自编码器编码器在不破坏聚类结构的前提下降低了输入空间的有效维度，将边界应用于半监督学习。

实验结果

研究问题

• RQ1 能否通过一种新型重构损失，将深度网络的泛化边界适配至自编码器？
• RQ2 性能良好的自编码器的编码器如何影响输入数据分布的几何结构？
• RQ3 在何种条件下，自编码器可提升任意半监督学习方案的性能？
• RQ4 输入数据的聚类结构在多大程度上影响基于自编码器的半监督学习的收益？
• RQ5 能否通过使用自编码器进行降维，缓解半监督学习边界中的维度灾难？

主要发现

• 所提出的基于边距的重构损失使得自编码器的泛化边界得以推导，据作者所知，这是首个此类边界。
• 有界的基于边距的重构损失意味着有界的L2重构损失，将新损失与标准评估指标联系起来。
• 泛化误差较小的自编码器会诱导出非压缩的编码器，即其不会压缩大多数输入对之间的距离。
• 在聚类假设下，编码器将输入映射到低维空间，其中聚类结构得以保留，从而支持有效的半监督学习。
• 该框架允许在输入聚类的分离边距与表示维度之间进行权衡，提升了半监督学习的可扩展性。
• 研究结果扩展了Singh（2008）的工作，表明基于自编码器的SSL可提升泛化性能，特别是在保持聚类结构的同时降低维度时。