[论文解读] EnAET: A Self-Trained framework for Semi-Supervised and Supervised Learning with Ensemble Transformations

Xiao Wang, Daisuke Kihara+2 more|arXiv (Cornell University)|Nov 21, 2019

Domain Adaptation and Few-Shot Learning参考文献 72被引用 15

一句话总结

EnAET 提出了一种自训练框架，通过集成空间与非空间变换的自监督表征，同时提升半监督和监督学习性能。通过应用自编码变换并最小化不同增强视图间的 KL 散度，EnAET 显著提升了泛化能力并降低了误差率——在仅使用极少标签的情况下实现了最先进性能，包括在仅 250 个标签下 CIFAR-10 的 7.6% 错误率。

ABSTRACT

Deep neural networks have been successfully applied to many real-world applications. However, such successes rely heavily on large amounts of labeled data that is expensive to obtain. Recently, many methods for semi-supervised learning have been proposed and achieved excellent performance. In this study, we propose a new EnAET framework to further improve existing semi-supervised methods with self-supervised information. To our best knowledge, all current semi-supervised methods improve performance with prediction consistency and confidence ideas. We are the first to explore the role of {\bf self-supervised} representations in {\bf semi-supervised} learning under a rich family of transformations. Consequently, our framework can integrate the self-supervised information as a regularization term to further improve {\it all} current semi-supervised methods. In the experiments, we use MixMatch, which is the current state-of-the-art method on semi-supervised learning, as a baseline to test the proposed EnAET framework. Across different datasets, we adopt the same hyper-parameters, which greatly improves the generalization ability of the EnAET framework. Experiment results on different datasets demonstrate that the proposed EnAET framework greatly improves the performance of current semi-supervised algorithms. Moreover, this framework can also improve {\bf supervised learning} by a large margin, including the extremely challenging scenarios with only 10 images per class. The code and experiment records are available in \url{https://github.com/maple-research-lab/EnAET}.

研究动机与目标

• 通过利用数据变换生成的自监督表征，解决深度学习中标签数据有限的挑战。
• 通过引入自监督信号，将半监督学习性能提升至超越现有一致性与置信度方法的水平。
• 开发一种可泛化的框架，通过极少超参数调优，同时增强半监督与全监督学习性能。
• 证明从多样化变换中提取的自监督表征可作为有效正则化手段，提升泛化能力。
• 通过消融研究探索不同变换类型与损失组件对模型性能的影响。

提出的方法

• EnAET 采用空间与非空间变换（如投影、仿射、相似、欧几里得、CCBS）的集成，对有标签与无标签数据进行增强。
• 该框架使用自编码变换来重建变换后的输入，学习对数据增强具有不变性的鲁棒表征。
• 通过最小化同一输入在不同变换下的预测之间的 KL 散度，应用一致性损失。
• 使用对比学习（CL）损失，对同一图像的不同视图特征进行对齐，提升表征质量。
• 自编码变换（AET）损失对模型进行正则化，使其能够重建变换后的输入，从而增强对数据变化的鲁棒性。
• 该框架具有模块化设计，可无缝集成至任何现有半监督学习方法（如 MixMatch）中，作为即插即用的正则化组件。

实验结果

研究问题

• RQ1 从多样化数据变换中提取的自监督表征是否能超越当前一致性与置信度方法，在半监督学习中实现性能提升？
• RQ2 与单独使用某种变换相比，多种变换类型的集成在模型泛化与鲁棒性方面表现如何？
• RQ3 自监督学习组件在半监督与全监督设置中在多大程度上可作为有效正则化手段？
• RQ4 所提出的框架是否在不同数据集上均保持强性能，且仅需极少超参数调优，表明其具备高度泛化能力？
• RQ5 各组件（如 CL 损失、AET 损失、变换集成）对整体性能提升的相对贡献如何？

主要发现

• 在仅使用 250 张有标签图像的情况下，EnAET 将 CIFAR-10 的错误率降低至 7.6%，相比 MixMatch 基线（11.08%）提升了 3.48%。
• 仅使用 50 张有标签图像时，EnAET 达到 16.45% 的错误率，超越了多数在 1,000 张标签下训练的方法。
• 在 SVHN 数据集上，EnAET 仅使用 100 个标签即达到 16.92% 的错误率，优于许多在 1,000 个标签下训练的方法。
• 在 STL-10 上，EnAET 使用全部 10,000 个有标签图像，创下 4.52% 的错误率新纪录，显著优于 MixMatch 基线。
• 在监督学习中，EnAET 使用较简单的 Wide ResNet-28-2 架构，在 CIFAR-10 上实现了最先进性能，优于 ProxylessNAS。
• 消融研究证实，变换集成与 AET 损失是最重要的两个组件，其中 AET 损失对性能提升贡献最大。