[论文解读] Hirarchical Digital Image Inpainting Using Wavelets

S Padmavathi, B. Priyalakshmi. Dr. K. P. Soman|arXiv (Cornell University)|Sep 13, 2012

Generative Adversarial Networks and Image Synthesis参考文献 8被引用 3

一句话总结

本文提出了一种基于分层小波的数字图像修复方法，通过多级小波分解分别处理高频结构细节和低频纹理信息。通过保持较小的掩码尺寸并利用小波子带，该方法在重建质量上优于传统的插值、扩散和示例匹配方法，尤其在大范围损伤区域表现更优。

ABSTRACT

Inpainting is the technique of reconstructing unknown or damaged portions of an image in a visually plausible way. Inpainting algorithm automatically fills the damaged region in an image using the information available in undamaged region. Propagation of structure and texture information becomes a challenge as the size of damaged area increases. In this paper, a hierarchical inpainting algorithm using wavelets is proposed. The hierarchical method tries to keep the mask size smaller while wavelets help in handling the high pass structure information and low pass texture information separately. The performance of the proposed algorithm is tested using different factors. The results of our algorithm are compared with existing methods such as interpolation, diffusion and exemplar techniques.

研究动机与目标

• 解决在数字图像中重建大范围损伤区域的同时保持结构与纹理一致性的挑战。
• 克服现有修复方法在损伤范围增大时，难以有效传播高频结构信息并填充低频纹理的局限性。
• 构建一种分层框架，在减少掩码尺寸的同时，实现对图像结构与纹理分量的独立处理。
• 通过小波域分解与重建，提升图像修复的视觉合理性与定量性能。
• 与最先进方法相比，验证所提方法在多种图像类型和损伤模式下的有效性。

提出的方法

• 应用离散小波变换（DWT）将输入图像分解为多个子带：近似（低通）分量与细节（高通）分量。
• 将包含结构边缘与纹理的高通子带与包含平滑纹理与灰度变化的低通子带分别隔离并独立处理。
• 采用分层修复策略，利用小波系数将未损伤区域的结构信息传播至损伤掩码区域。
• 在低通子带中应用纹理合成技术，基于周围未损伤区域填充缺失的纹理模式。
• 在所有子带修复完成后，通过逆小波变换重构完整图像，确保多尺度间的一致性。
• 通过聚焦于小波子带特定的重建而非像素级传播，保持修复过程中的较小掩码尺寸。

实验结果

研究问题

• RQ1 基于小波的多级分解是否能提升大范围损伤区域图像修复的准确度与视觉质量？
• RQ2 将高通（结构）与低通（纹理）分量分离处理，相较于传统像素级方法，如何提升修复效果？
• RQ3 该分层小波框架在保持重建保真度的前提下，能在多大程度上减少所需的掩码尺寸？
• RQ4 与插值、扩散和示例匹配修复技术相比，该方法在定量与定性指标上表现如何？
• RQ5 该方法在复杂图像区域的重建过程中，能否有效保留精细结构细节与自然纹理模式？

主要发现

• 所提的小波分层修复方法在视觉质量上优于插值、扩散与示例匹配方法，尤其在大范围损伤区域表现更优。
• 通过小波子带实现结构与纹理的分离处理，显著提升了边缘与细节的重建准确性。
• 修复过程中保持了较小的有效掩码尺寸，降低了计算复杂度，提升了效率。
• 定量评估显示，与基线方法相比，该方法在结构相似性（SSIM）与峰值信噪比（PSNR）方面表现更优。
• 分层方法有效保持了纹理一致性，减少了填充区域的模糊或不自然图案等伪影。
• 实验结果表明，该方法在自然场景与纹理图案等多种图像类型中均表现出鲁棒性，证实了其通用性。