[论文解读] MOGAN: Morphologic-structure-aware Generative Learning from a Single Image

Jinshu Chen, Qihui Xu+2 more|arXiv (Cornell University)|Mar 4, 2021

Generative Adversarial Networks and Image Synthesis参考文献 60被引用 4

一句话总结

MOGAN 提出了一种形态结构感知的 GAN，通过利用增强数据和轻量级风格注入模块，在仅输入单张图像的情况下，能够生成多样化且高质量的图像，同时保留物体结构并实现外观变化。该方法在基于 ROI 的图像生成任务中表现卓越，无论在多样性还是真实感方面均优于同类方法，这一优势得到了 SIFID 和 GQI 等定量指标的验证。

ABSTRACT

In most interactive image generation tasks, given regions of interest (ROI) by users, the generated results are expected to have adequate diversities in appearance while maintaining correct and reasonable structures in original images. Such tasks become more challenging if only limited data is available. Recently proposed generative models complete training based on only one image. They pay much attention to the monolithic feature of the sample while ignoring the actual semantic information of different objects inside the sample. As a result, for ROI-based generation tasks, they may produce inappropriate samples with excessive randomicity and without maintaining the related objects' correct structures. To address this issue, this work introduces a MOrphologic-structure-aware Generative Adversarial Network named MOGAN that produces random samples with diverse appearances and reliable structures based on only one image. For training for ROI, we propose to utilize the data coming from the original image being augmented and bring in a novel module to transform such augmented data into knowledge containing both structures and appearances, thus enhancing the model's comprehension of the sample. To learn the rest areas other than ROI, we employ binary masks to ensure the generation isolated from ROI. Finally, we set parallel and hierarchical branches of the mentioned learning process. Compared with other single image GAN schemes, our approach focuses on internal features including the maintenance of rational structures and variation on appearance. Experiments confirm a better capacity of our model on ROI-based image generation tasks than its competitive peers.

研究动机与目标

• 解决从单个训练样本生成多样化且结构准确图像的挑战，特别是在基于 ROI 的任务中。
• 克服现有 GAN 将图像块一视同仁处理的局限性，避免生成样本中出现结构失真。
• 通过引入单张输入图像的增强版本中的形态与结构知识，提升生成样本的质量。
• 利用二值掩码和专用网络分支，实现 ROI 和背景区域的独立、并行生成。
• 在外观多样性与结构保真度之间实现优于先前单图像 GAN 的平衡，尤其在交互式图像生成任务中表现更优。

提出的方法

• 提出一种具有独立 ROI 和背景生成分支的并行分层 GAN 架构，支持隔离且有针对性的学习。
• 将原始图像增强为多种形式（如旋转、裁剪、色彩抖动等），以合成保留结构与形态模式的多样化训练数据。
• 引入轻量级风格注入模块，学习从增强数据中提取仿射变换，并将该知识注入生成器，以引导外观变化同时保持结构稳定。
• 使用二值掩码隔离 ROI 区域，引导背景分支仅生成非 ROI 区域，从而降低生成复杂度并提升生成保真度。
• 在 ROI 分支中集成可变形卷积和通道注意力模块，以增强特征表示能力，减少噪声与伪影。
• 在背景分支中采用门控卷积，防止模型将掩码视为语义对象，确保背景生成的准确性。

实验结果

研究问题

• RQ1 在仅使用单张图像进行训练的 GAN 中，是否能够生成多样化且高质量的样本，同时保持输入图像中物体的结构完整性？
• RQ2 形态感知数据增强与风格注入模块的结合，如何提升单图像生成中的结构一致性与外观多样性？
• RQ3 通过并行分支实现 ROI 与背景的分离生成，在多大程度上提升了生成图像的质量与真实感？
• RQ4 各个组件（如风格注入模块、可变形卷积、门控卷积）在多样性与保真度方面对模型性能的影响如何？
• RQ5 所提出的方法是否能在定性和定量指标上全面超越现有单图像 GAN，特别是在基于 ROI 的生成任务中？

主要发现

• 当在整张图像上进行训练时，MOGAN 在所有对比模型中实现了最低的单图像弗雷歇 inception 距离（SIFID），表明其生成结果更具真实感且过拟合程度更低。
• 当仅在 ROI 上进行训练时，MOGAN 仍保持高多样性与低 SIFID，优于 SinGAN、ConSinGAN 和 HP-VAE-GAN，后三者均出现过拟合或生成结果混乱的问题。
• 生成质量指数（GQI）定义为多样性除以 SIFID，MOGAN 的 GQI 最高，证明其在多样性与质量之间实现了最优平衡。
• 消融实验表明，风格注入模块至关重要——若移除该模块，将导致过拟合与多样性下降；而可变形卷积与通道注意力机制则有助于提升结构稳定性。
• 背景分支中的门控卷积对于防止模型将掩码视为语义对象至关重要，从而确保背景生成的准确性。
• 定性结果表明，与其它模型相比，MOGAN 生成的图像在边缘更清晰、纹理更精细，尤其在编辑区域或 ROI 区域表现更优。