[论文解读] Line Drawing Guided Progressive Inpainting of Mural Damage

Luxi Li, Qin Zou+7 more|arXiv (Cornell University)|Nov 12, 2022

Generative Adversarial Networks and Image Synthesis被引用 14

一句话总结

本文提出一种基于线条草图引导的两阶段渐进修复方法，用于壁画修复。首先利用线条草图重建结构内容，然后通过直方图损失和色彩校正网络优化色彩一致性。该方法在保留壁画真实感方面显著优于当前最先进方法，尤其在大面积损坏区域表现更优，用户研究显示其平均得分为8.42，高于Deepfillv2的7.6。

ABSTRACT

Mural image inpainting is far less explored compared to its natural image counterpart and remains largely unsolved. Most existing image-inpainting methods tend to take the target image as the only input and directly repair the damage to generate a visually plausible result. These methods obtain high performance in restoration or completion of some pre-defined objects, e.g., human face, fabric texture, and printed texts, etc., however, are not suitable for repairing murals with varying subjects and large damaged areas. Moreover, due to discrete colors in paints, mural inpainting may suffer from apparent color bias. To this end, in this paper, we propose a line drawing guided progressive mural inpainting method. It divides the inpainting process into two steps: structure reconstruction and color correction, implemented by a structure reconstruction network (SRN) and a color correction network (CCN), respectively. In structure reconstruction, SRN utilizes the line drawing as an assistant to achieve large-scale content authenticity and structural stability. In color correction, CCN operates a local color adjustment for missing pixels which reduces the negative effects of color bias and edge jumping. The proposed approach is evaluated against the current state-of-the-art image inpainting methods. Qualitative and quantitative results demonstrate the superiority of the proposed method in mural image inpainting. The codes and data are available at https://github.com/qinnzou/mural-image-inpainting.

研究动机与目标

• 解决在标准图像修复方法因结构不一致而失效时，对历史壁画中大面积复杂损坏区域进行修复的挑战。
• 减少基于深度学习的方法中常见的色彩偏差与边缘跳跃现象，这些现象通常由掩码区域与可见区域之间色彩分布不一致引起。
• 利用人工绘制的线条草图作为结构先验，以增强内容的真实性，并引导修复过程更贴近原始壁画的外观。
• 设计一种渐进式框架，将结构重建与色彩校正分离，以提升视觉保真度与一致性的控制能力。
• 从敦煌莫高窟收集1,714幅壁画图像，构建专用壁画图像修复数据集，用于基准测试与评估。

提出的方法

• 该方法采用两阶段流程：首先，结构重建网络（SRN）以线条草图为条件输入，生成在结构上合理、具有高层次语义内容的损坏区域修复结果。
• 其次，色彩校正网络（CCN）通过局部色彩调整对SRN输出进行精细化处理，以减少色彩偏差并提升色调一致性。
• 引入直方图损失，使修复区域的像素分布与原始壁画保持一致，从而增强大孔洞区域的细节与色彩准确性。
• CCN结合注意力机制以保持相似结构元素之间的色彩一致性，同时使用跳跃连接以维持空间连贯性。
• 线条草图由专业画师人工绘制，以确保结构引导的高保真度，避免神经网络边缘预测带来的不准确性。
• 该框架在新构建的1,714幅敦煌莫高窟壁画图像数据集上进行训练与评估，包含掩码及对应线条草图。

实验结果

研究问题

• RQ1 线条草图是否能显著提升壁画修复结果的结构真实性，尤其是在大面积损坏区域？
• RQ2 将结构重建与色彩校正分离是否能有效减少色彩偏差并提升壁画修复的视觉一致性？
• RQ3 引入直方图损失在多大程度上提升了大范围缺失区域的修复质量？
• RQ4 在用户偏好与定量指标方面，该方法与当前最先进方法相比表现如何？
• RQ5 采用专用结构与色彩网络的两阶段渐进式方法，是否能在文化遗产修复中超越端到端修复模型？

主要发现

• 所提方法在用户评分中获得平均8.42分，显著高于Deepfillv2（7.6）、EdgeConnect（6.31）和RFR（3.93），表明用户对其结果有明显偏好。
• 消融实验表明，若移除直方图损失，大孔洞区域的纹理将变得模糊且边界不清晰，凸显其在细节恢复中的关键作用。
• 注意力模块有效提升了相似结构元素之间的色彩一致性，减少了重复图案中的视觉不一致。
• CCN显著降低了修复区域与周围区域之间的明显色彩差异，尤其在复杂纹理区域表现更优。
• 跳跃连接有助于维持结构完整性与一致的色调，防止最终输出出现失真。
• 定性结果表明，该方法成功保留了原始壁画的风格、色调与整体和谐感，即使在大面积损坏区域也呈现出清晰完整的结构。