[论文解读] Generative Adversarial Classifier for Handwriting Characters Super-Resolution

Qian Zhuang, Kaizhu Huang+3 more|arXiv (Cornell University)|Jan 18, 2019

Advanced Image Processing Techniques参考文献 23被引用 4

一句话总结

本文提出一种生成对抗性分类器（GAC），用于手写字符超分辨率，通过在 GAN 训练过程中集成分类器，优化结构保真度与类别可分性，从而提升识别准确率。该方法在 8× 超分辨率下于 CASIA-HWDB1.1 数据集上相较 SRGAN 实现了 10.7% 的 top-1 准确率提升，达到当前最先进性能。

ABSTRACT

Generative Adversarial Networks (GAN) receive great attentions recently due to its excellent performance in image generation, transformation, and super-resolution. However, GAN has rarely been studied and trained for classification, leading that the generated images may not be appropriate for classification. In this paper, we propose a novel Generative Adversarial Classifier (GAC) particularly for low-resolution Handwriting Character Recognition. Specifically, involving additionally a classifier in the training process of normal GANs, GAC is calibrated for learning suitable structures and restored characters images that benefits the classification. Experimental results show that our proposed method can achieve remarkable performance in handwriting characters 8x super-resolution, approximately 10% and 20% higher than the present state-of-the-art methods respectively on benchmark data CASIA-HWDB1.1 and MNIST.

研究动机与目标

• 解决因缺失高频细节和伪造纹理导致的超分辨率手写字符识别准确率低下的问题。
• 克服标准 GAN 和超分辨率方法仅关注感知质量而忽视分类实用性的局限。
• 开发一种适用于大规模分类任务（如包含 3,755 个类别的汉字识别）的可扩展架构。
• 通过引入分类损失，不仅提升 PSNR，也改善下游分类性能，从而提升超分辨率质量。
• 在 CASIA-HWDB1.1、MNIST 和 CIFAR-10 等基准数据集上验证有效性，重点关注 8× 超分辨率。

提出的方法

• 提出一种三玩家 GAN 框架，包含生成器（G）、判别器（D）和分类器（C），其中 C 与 G 和 D 端到端联合训练。
• 引入一种混合损失函数，结合对抗损失（D）、通过分类器 C 的感知损失，以及加权交叉熵损失以实现分类监督。
• 使用分类器 C 对真实高分辨率图像（I^HR）和重建的超分辨率图像（I^SR）进行预测，最小化预测结果与真实标签之间的交叉熵损失。
• 训练两种变体：一种是在 GAN 训练期间冻结分类器 C（固定 C），另一种是 C 与 G 和 D 联合更新（自适应 C），其中超参数 α 控制分类与对抗目标之间的平衡。
• 通过避免在 Triple-GAN 中使用的内存密集型标签分布匹配方法，使架构适用于大规模类别数据集。
• 通过将高分辨率图像下采样至 8×8 输入分辨率，并由生成器重建，将模型应用于 8× 超分辨率任务。

实验结果

研究问题

• RQ1 在 GAN 训练过程中集成分类器是否能提升手写字符超分辨率质量，从而改善下游分类任务？
• RQ2 将分类器与生成器和判别器联合训练，对超分辨率图像的感知质量和识别准确率有何影响？
• RQ3 所提出的 GAC 框架是否可扩展至大规模手写识别数据集（如包含 3,755 个类别的 CASIA-HWDB1.1）？
• RQ4 GAC 性能对控制分类与对抗损失平衡的超参数 α 的敏感度如何？
• RQ5 所提方法是否在字符超分辨率任务中，于 PSNR 和分类准确率两方面均优于 SRGAN 和 Triple-GAN 等现有 SOTA 方法？

主要发现

• 在 CASIA-HWDB1.1 数据集上，GAC 模型在 8× 超分辨率下的 top-1 准确率达到 63.95%，相较 SRGAN 的 53.28% 提升了 10.7%。
• top-3 准确率达到 80.69%，相较 SRGAN 的 69.52% 提升了 11.17%，表明在字符识别任务中具有更强的鲁棒性。
• 在 MNIST 数据集上，GAC 模型在自适应 C 设置下达到 93.69% 的 top-1 准确率，优于 Triple-GAN 的 74.07% 和 SRGAN 的 42.99%。
• 在 CIFAR-10 数据集上，GAC 达到 53.61% 的 top-1 准确率，相较 Triple-GAN 的 37.28% 提升 15.33%，相较 SRGAN 的 11.06% 提升 42.55%。
• 模型对超参数 α 相对不敏感，较小的 α 值通常带来更好性能，尤其在自适应 C 设置下表现更优。
• GAC 框架避免了 Triple-GAN 所面临的内存与优化挑战，使其在大规模手写识别任务中更具可行性。