[论文解读] Image Inpainting via Conditional Texture and Structure Dual Generation

Xiefan Guo, Hongyu Yang+1 more|arXiv (Cornell University)|Aug 22, 2021

Generative Adversarial Networks and Image Synthesis参考文献 39被引用 18

一句话总结

本文提出了一种用于图像修复的双流生成网络，通过耦合方式联合建模结构约束的纹理生成与纹理引导的结构重建，利用双向门控特征融合（Bi-GFF）模块和上下文特征聚合（CFA）模块提升一致性与细节质量。该方法在CelebA、Paris StreetView和Places2数据集上实现了最先进性能。

ABSTRACT

Deep generative approaches have recently made considerable progress in image inpainting by introducing structure priors. Due to the lack of proper interaction with image texture during structure reconstruction, however, current solutions are incompetent in handling the cases with large corruptions, and they generally suffer from distorted results. In this paper, we propose a novel two-stream network for image inpainting, which models the structure-constrained texture synthesis and texture-guided structure reconstruction in a coupled manner so that they better leverage each other for more plausible generation. Furthermore, to enhance the global consistency, a Bi-directional Gated Feature Fusion (Bi-GFF) module is designed to exchange and combine the structure and texture information and a Contextual Feature Aggregation (CFA) module is developed to refine the generated contents by region affinity learning and multi-scale feature aggregation. Qualitative and quantitative experiments on the CelebA, Paris StreetView and Places2 datasets demonstrate the superiority of the proposed method. Our code is available at https://github.com/Xiefan-Guo/CTSDG.

研究动机与目标

• 为解决当前深度生成方法在处理大范围损坏时因结构与纹理建模之间交互较弱而导致的局限性。
• 通过显式耦合结构与纹理生成，提升图像修复中的全局一致性和细节质量。
• 设计一种双流架构，实现纹理生成与结构重建之间的相互监督，以获得更逼真的生成结果。
• 通过新型模块Bi-GFF与CFA，增强特征一致性与长距离依赖性。

提出的方法

• 该方法采用双流生成器，其中一路执行结构约束的纹理生成，另一路执行纹理引导的结构重建，实现双向特征交互。
• 引入双向门控特征融合（Bi-GFF）模块，在结构流与纹理流之间交换并优化特征，提升特征一致性。
• 上下文特征聚合（CFA）模块通过区域亲和力学习与多尺度特征聚合，建模长距离空间依赖性，提升局部细节保真度。
• 判别器也采用双分支结构，一路评估纹理的真实性，另一路评估结构的清晰度，实现联合优化。
• 网络通过对抗损失、感知损失和L1损失进行训练，以平衡真实感、结构保真度与像素级精度。
• 该架构在CelebA、Paris StreetView和Places2数据集上进行评估，并对Bi-GFF、CFA及多尺度聚合进行了消融研究。

实验结果

研究问题

• RQ1 在双流框架中联合建模纹理生成与结构重建，是否能相比单流或顺序方法显著提升图像修复质量？
• RQ2 双向门控特征融合（Bi-GFF）模块在生成纹理与结构之间的一致性方面产生何种影响？
• RQ3 上下文特征聚合（CFA）模块在多大程度上增强了修复区域的长距离空间连贯性与细节质量？
• RQ4 CFA中多尺度特征聚合是否在定量指标与视觉质量上带来可测量的提升？
• RQ5 在标准基准测试中，该方法在定性与定量性能方面与最先进方法相比表现如何？

主要发现

• 所提方法在CelebA、Paris StreetView和Places2数据集上均达到新的最先进水平，Fréchet Inception Distance（FID）分别为0.039、0.107和0.226。
• 消融实验表明，移除Bi-GFF模块后FID分别上升至0.045、0.114和0.236，表明其在特征一致性方面具有关键作用。
• 若移除CFA模块，FID分别上升至0.049、0.119和0.243，证明其在保持全局结构与纹理质量方面的重要性。
• 与原始单尺度版本相比，CFA中的多尺度特征聚合使FID降低0.004–0.008，证实其有效性。
• 由10名专家参与的用户研究表明，所提方法在感知真实感方面显著优于最先进方法。
• 双流架构结合双重视觉-结构生成方式，优于单流基线模型与多任务单流网络，验证了结构与纹理解耦但交互建模的优势。