[论文解读] Deep Inception Generative Network for Cognitive Image Inpainting

Qingguo Xiao, Guangyao Li+1 more|arXiv (Cornell University)|Dec 1, 2018

Generative Adversarial Networks and Image Synthesis参考文献 32被引用 8

一句话总结

本文提出了一种深度嵌套生成网络（Deep Inception Generative Network），通过利用多感受野嵌套模块来增强高层特征表示并减少伪影，从而提升认知图像修复性能。通过引入多样化的随机掩码生成方法及自定义掩码数据集，该模型在 ImageNet、Places2 和 CelebA-HQ 上的常规、不规则和自由风格图像修复任务中均达到最先进性能，生成结果比以往方法更加自然且上下文一致。

ABSTRACT

Recent advances in deep learning have shown exciting promise in filling large holes and lead to another orientation for image inpainting. However, existing learning-based methods often create artifacts and fallacious textures because of insufficient cognition understanding. Previous generative networks are limited with single receptive type and give up pooling in consideration of detail sharpness. Human cognition is constant regardless of the target attribute. As multiple receptive fields improve the ability of abstract image characterization and pooling can keep feature invariant, specifically, deep inception learning is adopted to promote high-level feature representation and enhance model learning capacity for local patches. Moreover, approaches for generating diverse mask images are introduced and a random mask dataset is created. We benchmark our methods on ImageNet, Places2 dataset, and CelebA-HQ. Experiments for regular, irregular, and custom regions completion are all performed and free-style image inpainting is also presented. Quantitative comparisons with previous state-of-the-art methods show that ours obtain much more natural image completions.

研究动机与目标

• 解决现有基于深度学习的图像修复方法因单一感受野结构而导致的伪影问题以及难以建模长距离上下文依赖关系的局限性。
• 通过采用深度嵌套学习提升图像修复中的认知理解能力，实现多尺度特征抽象并增强模型鲁棒性。
• 通过构建包含规则、不规则和手绘掩码的多样化随机掩码数据集，实现自由风格图像修复。
• 在 ImageNet、Places2 和 CelebA-HQ 等多个基准数据集上，展示模型在泛化能力和视觉质量方面的优越性。

提出的方法

• 所提出的网络在单层内集成多个感受野，利用嵌套模块增强特征抽象能力并建模长距离依赖关系。
• 在架构中保留池化层以保持空间不变性并提升特征泛化能力，与通常为保留细节而移除池化的做法形成对比。
• 提出两种新颖的多样化随机掩码生成方法：一种基于随机几何形状（矩形、圆形、椭圆）并随机化其尺寸、旋转角度和位置；另一种基于点扩张方法，从种子点扩展区域。
• 在 GitHub 上构建并发布了自定义随机掩码数据集，支持任意形状孔洞的训练与评估。
• 采用 GAN 框架进行模型训练，结合对抗性损失与感知损失，优化生成结果的真实感与结构一致性。
• 在 ImageNet、Places2 和 CelebA-HQ 三个数据集上，通过定量指标与最先进方法的定性对比对网络进行评估。

实验结果

研究问题

• RQ1 与单感受野 CNN 相比，多感受野嵌套模块是否能提升高层特征表示能力并减少图像修复中的伪影？
• RQ2 多样化且任意形状的掩码在多大程度上能提升模型泛化能力并支持自由风格图像修复？
• RQ3 所提方法在常规、不规则和自定义掩码区域上，与 GL、GntIpt 和 Pconv 等最先进方法相比，在定量与定性指标上表现如何？
• RQ4 在生成网络中集成池化层是否能在保持细节清晰度的同时提升上下文理解能力？

主要发现

• 所提出的深度嵌套生成网络在常规、不规则和自由风格图像修复任务中均实现了更优的视觉质量，相比 GL、GntIpt 和 Pconv 伪影更少，纹理更连贯。
• 与 Pconv 及其他基线方法相比，该模型在大孔洞修复任务中显著减少了棋盘状伪影和结构失真。
• 在 CelebA-HQ 数据集上的结果表明，即使面对复杂的手绘掩码，模型仍能生成更自然且上下文一致的人脸。
• 自定义随机掩码数据集使模型能够稳健泛化至未见过的掩码形状，验证了所提掩码生成技术的有效性。
• 定量比较显示，该方法在所有数据集上均优于以往最先进方法，在结构相似性（SSIM）和感知质量指标上表现更优。
• 消融实验证实，具有多尺度感受野的嵌套模块与保留的池化层显著提升了特征抽象能力与修复保真度。