[论文解读] Global versus Localized Generative Adversarial Nets

Guo-Jun Qi, Liheng Zhang+4 more|arXiv (Cornell University)|Nov 16, 2017

Generative Adversarial Networks and Image Synthesis参考文献 4被引用 3

一句话总结

本文提出局部生成对抗网络（LGAN），通过使用局部坐标图来建模数据流形，实现对局部几何结构的直接访问，并通过切向量的正交性约束缓解模式崩溃。LGAN 在图像生成和半监督分类任务中均达到当前最优性能，在仅使用 4,000 个标注样本的情况下，CIFAR-10 上的错误率为 9.77%。

ABSTRACT

In this paper, we present a novel localized Generative Adversarial Net (GAN) to learn on the manifold of real data. Compared with the classic GAN that {\em globally} parameterizes a manifold, the Localized GAN (LGAN) uses local coordinate charts to parameterize distinct local geometry of how data points can transform at different locations on the manifold. Specifically, around each point there exists a {\em local} generator that can produce data following diverse patterns of transformations on the manifold. The locality nature of LGAN enables local generators to adapt to and directly access the local geometry without need to invert the generator in a global GAN. Furthermore, it can prevent the manifold from being locally collapsed to a dimensionally deficient tangent subspace by imposing an orthonormality prior between tangents. This provides a geometric approach to alleviating mode collapse at least locally on the manifold by imposing independence between data transformations in different tangent directions. We will also demonstrate the LGAN can be applied to train a robust classifier that prefers locally consistent classification decisions on the manifold, and the resultant regularizer is closely related with the Laplace-Beltrami operator. Our experiments show that the proposed LGANs can not only produce diverse image transformations, but also deliver superior classification performances.

研究动机与目标

• 为解决全局 GAN 在建模具有多样化局部变换的复杂非线性数据流形时的局限性。
• 实现在不反转生成器网络的前提下，直接访问局部几何属性（如切向量和曲率）。
• 通过在切向量上施加正交性约束，防止局部流形崩溃，从而保持全维变化。
• 开发一种由拉普拉斯-贝尔特拉米算子相关几何先验正则化的局部一致性分类器，无需依赖图近似方法。
• 在图像生成和半监督分类任务中均展示出卓越性能。

提出的方法

• LGAN 使用以单个数据点 $\mathbf{x}$ 为中心的局部坐标图参数化局部生成器 $G(\mathbf{x}, \mathbf{z})$，实现对数据变换的局部建模。
• 每个局部生成器在其所在数据流形点的邻域内运行，支持在重叠区域无缝拼接生成的数据。
• 对局部生成器的雅可比矩阵施加正交性先验，确保切向量能张成全维空间，防止局部维度不足。
• 通过直接将每个数据点与其局部生成器关联，避免了对生成器进行反转，从而实现在点级别直接进行几何分析。
• 从正交性约束导出的局部几何正则化项被证明等价于基于拉普拉斯-贝尔特拉米算子的正则化项，且无需依赖流形的图近似。
• 该框架支持训练一种对流形切线方向扰动具有鲁棒性的局部一致性分类器，其性能在 CIFAR-10 和 CIFAR-100 上得到验证。

实验结果

研究问题

• RQ1 局部坐标图能否为 GAN 中复杂数据流形的建模提供比全局参数化更有效且几何一致的替代方案？
• RQ2 如何在不反转生成器网络的前提下，直接访问如切向量和曲率等局部几何属性？
• RQ3 在局部切向量上施加正交性约束在多大程度上能防止局部流形崩溃并提升模式多样性？
• RQ4 能否利用从正交性约束导出的几何正则化项来训练对流形对齐扰动具有鲁棒性的分类器？
• RQ5 所提出的 LGAN 框架是否在图像生成和半监督分类任务中均达到当前最优性能？

主要发现

• 在仅使用 4,000 个标注样本的情况下，LGAN 在 CIFAR-10 上的测试错误率为 9.77%，优于先前的 SOTA 方法（如 VAT 和 Pi-Model）。
• 在使用 10,000 个标注样本的 CIFAR-100 上，LGAN 的测试错误率为 35.52%，超过所有对比的半监督学习基线方法。
• 对局部切向量施加正交性约束能有效防止局部流形崩溃，保持不同方向上的全维数据变化。
• LGAN 中的局部几何正则化项在数学上等价于基于拉普拉斯-贝尔特拉米算子的正则化项，但其推导不依赖于流形的图近似。
• 该方法无需反转生成器网络，即可直接访问如切向量和曲率等局部几何特征。
• LGAN 生成的图像变换在保持底层流形结构一致性的同时，展现出更高的样本多样性与质量。