[论文解读] Geometry-Consistent Generative Adversarial Networks for One-Sided Unsupervised Domain Mapping

Huan Fu, Mingming Gong+4 more|arXiv (Cornell University)|Sep 16, 2018

Generative Adversarial Networks and Image Synthesis参考文献 58被引用 18

一句话总结

本文提出几何一致性生成对抗网络（GcGAN），一种单边无监督域迁移方法，通过确保预定义图像变换（如旋转）在域映射中保持一致来实现几何一致性。通过在原始图像和变换后图像上共同正则化生成器，GcGAN 减少了模式崩溃和语义失真，在照片到地图、莫奈风格到照片等任务中实现了最先进性能，相比基线 GAN 模型像素准确率提升 18–22%。

ABSTRACT

Unsupervised domain mapping aims to learn a function to translate domain X to Y by a function GXY in the absence of paired examples. Finding the optimal GXY without paired data is an ill-posed problem, so appropriate constraints are required to obtain reasonable solutions. One of the most prominent constraints is cycle consistency, which enforces the translated image by GXY to be translated back to the input image by an inverse mapping GYX. While cycle consistency requires the simultaneous training of GXY and GY X, recent studies have shown that one-sided domain mapping can be achieved by preserving pairwise distances between images. Although cycle consistency and distance preservation successfully constrain the solution space, they overlook the special properties that simple geometric transformations do not change the semantic structure of images. Based on this special property, we develop a geometry-consistent generative adversarial network (GcGAN), which enables one-sided unsupervised domain mapping. GcGAN takes the original image and its counterpart image transformed by a predefined geometric transformation as inputs and generates two images in the new domain coupled with the corresponding geometry-consistency constraint. The geometry-consistency constraint reduces the space of possible solutions while keep the correct solutions in the search space. Quantitative and qualitative comparisons with the baseline (GAN alone) and the state-of-the-art methods including CycleGAN and DistanceGAN demonstrate the effectiveness of our method.

研究动机与目标

• 为解决无监督域映射中因缺乏配对训练数据而导致的病态问题，提出几何一致性约束，以稳定训练过程并提升翻译质量。
• 通过利用旋转等简单几何变换下语义结构的不变性，克服循环一致性与距离保持方法的局限性。
• 在无需同时训练前向与逆向生成器的前提下，实现单边域映射，同时保持高质量、语义一致的翻译结果。
• 通过在变换图像对上共同正则化生成器，减少 GAN 基础域迁移中的语义失真与模式崩溃。
• 在多种图像翻译任务中，证明几何一致性约束相较于 CycleGAN 和 DistanceGAN 等现有方法具有更好的兼容性与优越性。

提出的方法

• 该方法引入几何一致性约束：对于预定义的几何变换 $ f(\cdot) $，翻译后的图像 $ G_{XY}(x) $ 应满足 $ f(G_{XY}(x)) \approx G_{\tilde{X}\tilde{Y}}(f(x)) $，其中 $ \tilde{X}, \tilde{Y} $ 为变换后的域。
• 生成器在原始图像 $ x \in \mathcal{X} $ 及其变换结果 $ f(x) $ 上进行训练，约束条件为：对输出施加的变换应与在变换输入上生成器输出的结果一致。
• 通过类似循环的损失函数强制约束：$ \| f(G_{XY}(x)) - G_{\tilde{X}\tilde{Y}}(f(x)) \|_1 \approx 0 $，确保几何结构在域间保持一致。
• 模型采用标准 GAN 框架，包含判别器，但生成器通过额外的几何一致性损失与原始图像和变换图像的翻译结果耦合训练。
• 该方法与现有约束（如循环一致性、距离保持）兼容，可与之结合以进一步提升性能。
• 方法在无监督设置下训练，仅使用未配对数据，无需配对样本或显式监督。

实验结果

研究问题

• RQ1 在不依赖配对数据的前提下，对图像变换施加几何一致性是否能提升单边无监督域迁移的性能？
• RQ2 几何一致性约束是否能有效减少 GAN 基础域迁移模型中的模式崩溃与语义失真？
• RQ3 通过利用几何不变性，单边域映射模型能否实现与 CycleGAN 等双侧模型相当或更优的性能？
• RQ4 几何一致性约束如何与现有约束（如循环一致性或距离保持）相互作用？
• RQ5 在真实世界域迁移任务中，几何一致性约束在 RMSE 和像素准确率等定量指标上的提升程度如何？

主要发现

• 在航空照片 → 地图翻译任务中，GcGAN 相较于仅使用基线 GAN 的模型，在 $ \delta = 5 $ 条件下实现了 21.9% 的像素准确率提升，证明了其在细节保留方面的优越性。
• 在航空照片 → 地图基准测试中，GcGAN-Mix 变体的 RMSE 达到 27.98，优于 CycleGAN（RMSE：28.15）和 GAN 单独训练（RMSE：33.27）。
• 在莫奈风格 → 照片翻译任务中，GcGAN 生成的输出在视觉真实感与语义一致性方面均优于 GAN 单独训练与 CycleGAN，定性对比结果清晰显示其优势。
• 消融实验表明，GcGAN-rot + 循环损失的 RMSE 为 28.21，准确率为 40.6%（$ \delta = 5 $），表明几何一致性与循环一致性具有互补性。
• GcGAN-rot 变体在相同基准上实现了 41.2% 的像素准确率（$ \delta = 5 $），优于 GAN 单独训练（19.3%），并达到与 CycleGAN（41.8%）相当的水平。
• 定性结果表明，GcGAN 有效缓解了模式崩溃问题，在马 → 斑马、白天 → 夜间、合成 → 真实图像等多样化领域中均生成了更丰富、更逼真的翻译结果。