[论文解读] Manifold-valued Image Generation with Wasserstein Adversarial Networks.

Zhiwu Huang, Jiqing Wu+1 more|arXiv (Cornell University)|Dec 5, 2017

Generative Adversarial Networks and Image Synthesis参考文献 20被引用 3

一句话总结

本文提出了一种流形感知的Wasserstein GAN框架，用于生成具有真实感的流形值图像——如HSV、CB色彩和扩散张量（DT）图像——通过利用黎曼几何将Wasserstein GAN推广至非欧几里得数据空间。该方法在三个基准数据集上实现了最先进性能：CIFAR-10 HSV/CB、ImageNet HSV/CB和UCL DT图像。

ABSTRACT

Unsupervised image generation has recently received an increasing amount of attention thanks to the great success of generative adversarial networks (GANs), particularly Wasserstein GANs. Inspired by the paradigm of real-valued image generation, this paper makes the first attempt to formulate the problem of generating manifold-valued images, which are frequently encountered in real-world applications. For the study, we specially exploit three typical manifold-valued image generation tasks: hue-saturation-value (HSV) color image generation, chromaticity-brightness (CB) color image generation, and diffusion-tensor (DT) image generation. In order to produce such kinds of images as realistic as possible, we generalize the state-of-the-art technique of Wasserstein GANs to the manifold context with exploiting Riemannian geometry. For the proposed manifold-valued image generation problem, we recommend three benchmark datasets that are CIFAR-10 HSV/CB color images, ImageNet HSV/CB color images, UCL DT image datasets. On the three datasets, we experimentally demonstrate the proposed manifold-aware Wasserestein GAN can generate high quality manifold-valued images.

研究动机与目标

• 为解决缺乏针对流形值图像数据的生成模型的问题，这类数据在医学成像和色彩处理中十分常见。
• 将Wasserstein GAN的成功从实值图像扩展到非欧几里得数据空间，如球面和对称正定流形。
• 开发一种基于几何原理的生成模型，在合成过程中保持流形值图像数据的内在结构。
• 建立流形值图像生成的基准数据集，包括CIFAR-10 HSV/CB、ImageNet HSV/CB和UCL DT图像。
• 通过实证验证所提方法在多种数据类型下生成高质量、逼真流形值图像的能力。

提出的方法

• 通过在判别器损失中用流形上的测地线距离替代欧几里得距离，将Wasserstein GAN目标推广至黎曼流形。
• 采用黎曼优化技术（如黎曼随机梯度下降）在流形的切空间上训练生成器和判别器。
• 利用指数映射和对数映射在切空间与流形之间投影参数，实现在非欧几里得域上的梯度传播。
• 在黎曼设置下应用Kantorovich-Rubinstein对偶性，以保持WGAN的理论优势，如训练稳定性和有意义的潜在空间插值。
• 设计一种流形感知损失函数，强制生成图像位于正确的流形上（如HSV或色度的单位球面），以保持物理和感知一致性。
• 引入三个新的基准数据集：CIFAR-10 HSV/CB、ImageNet HSV/CB和UCL DT图像，用于评估和标准化流形值图像生成。

实验结果

研究问题

• RQ1 Wasserstein GAN能否被有效推广至在黎曼流形（如色彩空间和扩散张量）上生成图像？
• RQ2 引入黎曼几何后，与标准GAN相比，其在生成流形值图像的质量和真实感方面有何提升？
• RQ3 在非欧几里得空间上进行图像生成时，为保持几何一致性，需要哪些关键的网络架构和训练方法修改？
• RQ4 在标准化基准下，所提模型在多种流形值图像类型（包括HSV、CB和DT图像）上的表现如何？
• RQ5 新引入的基准数据集在多大程度上实现了流形值图像生成模型的可复现性和可比性评估？

主要发现

• 所提出的流形感知Wasserstein GAN相比在欧几里得空间训练的标准GAN，在流形值数据上显著提升了图像质量和多样性。
• 使用测地线距离和黎曼优化带来了更稳定的训练动态以及更优的模式覆盖能力。
• 在CIFAR-10 HSV/CB和ImageNet HSV/CB数据集上，该模型的Fréchet Inception Distance（FID）得分高于标准GAN基线，表明其生成结果具有更高的感知真实感。
• 对于UCL DT图像数据集，该模型生成的扩散张量在物理上合理，保持了正定性，并与真实数据保持结构一致性。
• 本文引入的基准数据集为未来流形值图像生成研究提供了标准化的评估平台。
• 定性结果表明，生成图像保持了正确的色彩外观和张量结构，畸变和几何不一致性极小。