[论文解读] Image Inpainting with External-internal Learning and Monochromic Bottleneck

Tengfei Wang, Hao Ouyang+1 more|arXiv (Cornell University)|Apr 19, 2021

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出了一种用于图像修复的外部-内部学习框架，通过使用单色瓶颈将结构重建与色彩恢复解耦。首先在大规模数据集上训练以在灰度模式下重建缺失区域，然后仅利用测试图像的统计信息，通过渐进式内部色彩化网络进行色彩恢复，从而减少如色彩渗色等伪影，提升多个基准测试中的结构一致性和视觉质量。

ABSTRACT

Although recent inpainting approaches have demonstrated significant improvements with deep neural networks, they still suffer from artifacts such as blunt structures and abrupt colors when filling in the missing regions. To address these issues, we propose an external-internal inpainting scheme with a monochromic bottleneck that helps image inpainting models remove these artifacts. In the external learning stage, we reconstruct missing structures and details in the monochromic space to reduce the learning dimension. In the internal learning stage, we propose a novel internal color propagation method with progressive learning strategies for consistent color restoration. Extensive experiments demonstrate that our proposed scheme helps image inpainting models produce more structure-preserved and visually compelling results.

研究动机与目标

• 解决基于深度学习的图像修复中持续存在的伪影问题，如色彩渗色和生硬结构。
• 提升大孔径修复场景下的视觉质量与结构一致性。
• 在统一框架中结合外部预训练（泛化能力）与内部自监督（局部色彩一致性）的优势。
• 实现用户引导的色彩控制，并在高掩码比率下保持鲁棒性。
• 在无需架构大规模修改的前提下，泛化至多种主干模型与数据集。

提出的方法

• 该方法采用单色瓶颈：首先使用在大规模数据集上预训练的外部学习网络，以灰度模式重建输入图像。
• 在1D颜色空间（R）中执行结构重建，降低优化复杂度并提升结构保真度。
• 提出一种新型内部色彩传播网络，仅利用单个测试图像的统计信息恢复色彩，通过内部统计特性避免色彩渗色。
• 采用渐进式恢复策略，结合局部与全局色彩统计信息，提升色彩一致性并减少硬边界。
• 色彩化损失仅在未掩码区域计算，确保与原始图像色彩分布的一致性。
• 该框架与现有模型正交，可应用于改进GatedConv、EdgeConnect、HiFill和GMCNN等模型。

实验结果

研究问题

• RQ1 在单色空间中训练是否能提升图像修复中的结构保真度？
• RQ2 仅利用测试图像统计信息进行内部色彩传播，是否能减少色彩伪影并提升视觉和谐性？
• RQ3 通过结合局部与全局统计信息渐进式恢复色彩，对视觉质量与伪影减少有何影响？
• RQ4 该方法在多样化数据集与掩码类型下，能在多大程度上提升现有基于深度学习的修复模型？
• RQ5 用户引导的色彩提示能否有效集成至内部色彩化过程中，以实现交互式编辑？

主要发现

• 所提方法在四个公开数据集（Places2、Paris StreetView、CelebA-HQ 和 DTD）上均实现了视觉质量的一致性提升。
• 在具有挑战性的Places2数据集中，该方法在不规则掩码下的PSNR达到39.50，优于当前最先进的色彩化基线方法。
• 即使在73.4%的高掩码比率下，内部色彩化网络仍能生成和谐结果，且无明显伪影。
• 消融实验证实，渐进式恢复策略至关重要——若无此策略，模型将产生硬边界与明显伪影。
• 该方法在定性与定量指标上均提升了GatedConv、EdgeConnect、HiFill与GMCNN等基线模型的性能。
• 用户引导的色彩化是可行的：通过添加一个颜色提示，用户可控制生成内容的颜色，例如在人脸修复中更改眼睛颜色。