[论文解读] Generative Cooperative Net for Image Generation and Data Augmentation

Qiangeng Xu, Zengchang Qin+1 more|arXiv (Cornell University)|May 8, 2017

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出生成式协作网络（GCN），一种监督生成模型，通过联合训练生成器与分类器，生成具有特定高层特征（如面部表情或色彩/旋转变换）的高质量、未见图像。与 GAN 不同，GCN 采用无对抗损失的协作训练，实现有效的数据增强，使 KDEF 数据集上的识别准确率从 92% 提升至 94%，仅用 325 张真实图像生成了 21,125 张合成人脸。

ABSTRACT

How to build a good model for image generation given an abstract concept is a fundamental problem in computer vision. In this paper, we explore a generative model for the task of generating unseen images with desired features. We propose the Generative Cooperative Net (GCN) for image generation. The idea is similar to generative adversarial networks except that the generators and discriminators are trained to work accordingly. Our experiments on hand-written digit generation and facial expression generation show that GCN's two cooperative counterparts (the generator and the classifier) can work together nicely and achieve promising results. We also discovered a usage of such generative model as an data-augmentation tool. Our experiment of applying this method on a recognition task shows that it is very effective comparing to other existing methods. It is easy to set up and could help generate a very large synthesized dataset.

研究动机与目标

• 开发一种生成模型，可生成具有特定高层视觉特征（如面部表情或色彩/旋转属性）的未见图像。
• 解决现有基于 GAN 的模型在保持图像质量的同时控制特定语义特征的局限性。
• 探索此类生成模型作为识别任务中强大数据增强工具的潜力。
• 通过分类器引导的生成器实现知识迁移，减少对大规模数据集的依赖。
• 证明生成器与分类器之间的协作训练可提升图像合成中的泛化能力与概念保真度。

提出的方法

• GCN 框架由基于 Dosovitskiy 等人（2015）提出的去卷积网络架构的生成器和改进版 AlexNet 构成的分类器组成。
• 模型通过联合目标函数端到端训练，同时最小化重建损失与分类损失。
• 训练数据由配对的高层特征向量（如情绪标签、色彩、旋转）与对应图像组成。
• 生成器学习从潜在特征向量合成图像，而分类器确保语义一致性和特征保真度。
• 通过插值或组合不同身份的特征，实现零样本生成（如在已知身份上生成新情绪）。
• 通过生成多样化、语义一致的图像，保留身份特征但改变情绪或外观，将该框架应用于数据增强。

实验结果

研究问题

• RQ1 协作式生成模型能否生成具有所需高层视觉特征（如面部表情）的高质量、未见图像？
• RQ2 与 GAN 中的对抗训练相比，生成器与分类器的协作训练在可控图像生成中的表现如何？
• RQ3 GCN 模型在生成训练集中未出现的图像（如新情绪身份或变换）方面，其泛化能力有多强？
• RQ4 GCN 能否作为识别任务的有效数据增强方法，尤其在真实数据有限时？
• RQ5 该模型在改变特定语义属性（如情绪或色彩）的同时是否能保持身份特征，确保合成结果的真实可信？

主要发现

• GCN 能够成功生成具有所需高层特征（包括幸福、惊讶、回避等面部表情）的高质量、未见图像，即使该组合在训练集中未出现。
• 在数据增强后，GCN 在面部表情识别任务上达到 94% 的准确率，较原始数据集的 92% 显著提升，证明了 GCN 生成数据的有效性。
• GCN 仅用 325 张真实人脸，通过以 0.5:0.5 比例组合身份与情绪，生成了 21,125 张合成人脸，展现出强大的数据效率。
• 即使训练数据中未显式包含 90 度与 180 度旋转，模型仍能学习到这些低层特征，表明其具备稳健的特征泛化能力。
• 在生成缺失特征方面（如颜色缺失时生成红色数字），GCN 表现优于基线方法，显示出更强的泛化能力。
• 合成图像在保留主体身份的同时准确反映目标情绪，提升了真实感与下游任务的实用性。