[论文解读] EC-GAN: Low-Sample Classification using Semi-Supervised Algorithms and GANs

Ayaan Haque|arXiv (Cornell University)|Dec 26, 2020

Generative Adversarial Networks and Image Synthesis参考文献 34被引用 9

一句话总结

EC-GAN 提出了一种新颖的半监督 GAN 框架，通过在生成器上附加一个外部分类器，将分类任务与判别任务解耦，从而在低样本、全监督图像分类任务中提升性能。通过生成类别平衡的合成数据，并使用加权对抗性损失来稳定训练，该方法在小型真实世界数据集上实现了最先进性能——在完整 X 射线数据集上达到 97.99% 的准确率。

ABSTRACT

Semi-supervised learning has been gaining attention as it allows for performing image analysis tasks such as classification with limited labeled data. Some popular algorithms using Generative Adversarial Networks (GANs) for semi-supervised classification share a single architecture for classification and discrimination. However, this may require a model to converge to a separate data distribution for each task, which may reduce overall performance. While progress in semi-supervised learning has been made, less addressed are small-scale, fully-supervised tasks where even unlabeled data is unavailable and unattainable. We therefore, propose a novel GAN model namely External Classifier GAN (EC-GAN), that utilizes GANs and semi-supervised algorithms to improve classification in fully-supervised regimes. Our method leverages a GAN to generate artificial data used to supplement supervised classification. More specifically, we attach an external classifier, hence the name EC-GAN, to the GAN's generator, as opposed to sharing an architecture with the discriminator. Our experiments demonstrate that EC-GAN's performance is comparable to the shared architecture method, far superior to the standard data augmentation and regularization-based approach, and effective on a small, realistic dataset.

研究动机与目标

• 解决在完全缺乏未标记数据的极端有限标注数据下进行全监督图像分类的挑战。
• 通过利用 GAN 生成合成数据，在受限数据环境下提升分类性能。
• 在 GAN 中解耦分类与判别任务，避免共享架构导致的性能下降。
• 在具有强类别不平衡的小型真实世界数据集（如医学 X 射线图像）上验证方法的有效性。
• 通过消融研究和与标准数据增强及正则化技术的对比，验证方法的有效性。

提出的方法

• 提出 EC-GAN，一种 GAN 架构，其中将独立的外部分类器连接到生成器上，实现分类与判别任务的解耦。
• 使用条件 GAN 通过将生成器和判别器基于类别标签进行条件化，生成类别平衡的合成图像。
• 应用加权无监督损失（对抗性权重 λ）以在训练过程中平衡真实标注数据与生成的虚假数据的贡献。
• 引入 L2 正则化以提升训练稳定性与泛化能力，尤其是在低数据环境下。
• 训练生成器以生成逼真且类别特定的图像，从而补充有限的真实训练数据。
• 采用多任务训练目标，使生成器在判别器反馈的指导下优化真实感，同时通过外部分类器反馈优化分类准确率。

实验结果

研究问题

• RQ1 基于 GAN 的方法是否能在完全缺乏未标记数据的全监督、低样本数据集中显著提升分类准确率？
• RQ2 在低数据环境下，将分类器从判别器中解耦的 GAN 架构是否优于共享架构的 GAN？
• RQ3 利用条件 GAN 生成的合成数据在提升类别不平衡的真实世界数据集上的分类器性能方面有多有效？
• RQ4 在稳定训练和提升准确率方面，有监督损失与无监督损失（即对抗性权重 λ）之间的最优权衡是什么？
• RQ5 在小样本设置下，EC-GAN 与标准数据增强和正则化技术相比表现如何？

主要发现

• 在完整 X 射线数据集（100% 训练数据）上，EC-GAN 达到了 97.99% 的测试准确率，显著优于基线分类器（96.42%）和标准数据增强方法。
• 仅使用 25% 的训练数据（共 200 张图像）时，EC-GAN 达到了 96.48% 的准确率，表明其在极端低样本环境下的强大性能。
• 在每类 100 张图像的设置下（共 200 张图像），EC-GAN 达到了 90.9% 的准确率，凸显其在高度受限数据环境中的有效性。
• 引入加权无监督损失（λ = 0.1）使准确率相比基线提升了超过 10 个百分点，证明其在利用合成数据方面至关重要。
• 结合 L2 正则化的 EC-GAN 表现优于数据增强和增强+正则化联合方法，显示出在不同数据集规模下更优的一致性。
• 消融研究证实，外部分类器设计和基于条件 GAN 的数据生成是性能关键，尤其在处理类别不平衡方面表现突出。