[论文解读] EnAET: Self-Trained Ensemble AutoEncoding Transformations for Semi-Supervised Learning.

Xiao Wang, Daisuke Kihara+2 more|arXiv (Cornell University)|Nov 21, 2019

Domain Adaptation and Few-Shot Learning参考文献 16被引用 33

一句话总结

EnAET 提出了一种自训练的自编码变换集成方法，通过结合空间与非空间的数据增强，提升半监督学习性能。通过学习解码多样化变换的鲁棒表征，EnAET 实现了最先进性能，在 CIFAR-10 上达到 1.99% 的错误率，在 STL10 上达到 4.52%，甚至在相同架构下超越了完全监督模型的性能。

ABSTRACT

Deep neural networks have been successfully applied to many real-world applications. However, these successes rely heavily on large amounts of labeled data, which is expensive to obtain. Recently, Auto-Encoding Transformation (AET) and MixMatch have been proposed and achieved state-of-the-art results for unsupervised and semi-supervised learning, respectively. In this study, we train an Ensemble of Auto-Encoding Transformations (EnAET) to learn from both labeled and unlabeled data based on the embedded representations by decoding both spatial and non-spatial transformations. This distinguishes EnAET from conventional semi-supervised methods that focus on improving prediction consistency and confidence by different models on both unlabeled and labeled examples. In contrast, we propose to explore the role of self-supervised representations in semi-supervised learning under a rich family of transformations. Experiment results on CIFAR-10, CIFAR-100, SVHN and STL10 demonstrate that the proposed EnAET outperforms the state-of-the-art semi-supervised methods by significant margins. In particular, we apply the proposed method to extremely challenging scenarios with only 10 images per class, and show that EnAET can achieve an error rate of 9.35% on CIFAR-10 and 16.92% on SVHN. In addition, EnAET achieves the best result when compared with fully supervised learning using all labeled data with the same network architecture. The performance on CIFAR-10, CIFAR-100 and SVHN with a smaller network is even more competitive than the state-of-the-art of supervised learning methods based on a larger network. We also set a new performance record with an error rate of 1.99% on CIFAR-10 and 4.52% on STL10. The code and experiment records are released at this https URL.

研究动机与目标

• 通过提升半监督学习性能，解决深度学习中标注数据成本过高的问题。
• 探索源自丰富数据变换族的自监督表征的作用。
• 开发一种联合优化表示学习与预测一致性的方法，同时利用标注与未标注数据。
• 在极端数据稀缺条件下实现优越性能，例如每类仅 10 张标注图像。
• 不仅超越现有半监督方法，也超越使用相同网络架构的完全监督模型。

提出的方法

• EnAET 训练一个自编码器集成模型，以重建输入数据的空间与非空间变换。
• 通过解码同一输入上应用的不同变换，模型学习共享表征，增强特征鲁棒性。
• 通过变换一致性，将标注数据上的监督学习与未标注数据上的自监督对比学习相结合。
• 利用多种变换增加数据多样性，提升泛化能力。
• 最终预测通过自编码头的集成实现，提升不确定性估计与鲁棒性。
• 端到端训练框架结合重建损失与一致性正则化。

实验结果

研究问题

• RQ1 通过多样化变换学习的自监督表征是否能提升半监督学习性能？
• RQ2 在极端标签稀缺条件下（如每类仅 10 张图像），EnAET 表现如何？
• RQ3 EnAET 是否能在相同模型架构下超越完全监督学习？
• RQ4 同时使用空间与非空间变换是否能带来优于现有方法的表征学习效果？
• RQ5 仅使用少量标注样本时，半监督学习的性能上限是什么？

主要发现

• EnAET 在 CIFAR-10 上达到 1.99% 的新最先进错误率，超越此前最先进方法。
• 在 STL10 上，EnAET 以 4.52% 的错误率创下新纪录，展现出强大的泛化能力。
• 仅使用每类 10 张标注图像时，EnAET 在 CIFAR-10 上实现 9.35% 的错误率，在 SVHN 上为 16.92%，显著优于先前方法。
• 在 CIFAR-10、CIFAR-100 和 SVHN 上，EnAET 在使用相同网络架构的条件下，超越了使用全部标注数据的完全监督学习。
• 该方法在较小网络上也取得具有竞争力的结果，甚至超越了使用更大参数量架构训练的最先进监督方法。
• 代码与实验结果已公开发布，以支持可复现性与进一步研究。