[论文解读] Image Inpainting Based on a Novel Criminisi Algorithm

Yuheng Song, Yan Hao|arXiv (Cornell University)|Aug 13, 2018

Generative Adversarial Networks and Image Synthesis参考文献 8被引用 4

一句话总结

本文提出了一种改进的 Criminisi 算法用于图像修复，解决了误差传播和次优块匹配的问题。通过使用曼哈顿距离均值重新定义优先级计算，并将欧几里得距离整合到匹配策略中，该方法提升了视觉质量并减少了伪影，在定量和定性评估中均表现出更优的结果。

ABSTRACT

In view of the problem of image inpainting error continuation and the deviation of finding best match block, an improved Criminisi algorithm is proposed. The improvement was mainly embodied in two aspects. In the repairing order aspect, we redefine the calculation formula of the priority. In order to solve the problem of error continuation caused by local confidence item updating, the mean value of Manhattan distance is used for replace the confidence item. In the matching strategy aspect, finding the best match block not only depend on the difference of the two pixels, but also consider the matching region. Therefore, Euclidean distance is introduced. Experiments confirm that the improved algorithm can overcome the insufficiencies of the original algorithm. The repairing effect has been improved, and the results have a better visual appearance.

研究动机与目标

• 解决传统 Criminisi 算法因置信度更新机制导致的误差延续问题。
• 通过引入像素级差异之外的区域上下文信息，提升块匹配的准确性。
• 通过修改优先级和相似性度量，提升修复图像的视觉质量。
• 减少视觉伪影，提升修复区域的结构一致性。
• 通过对比实验验证所提方法的有效性。

提出的方法

• 通过用曼哈顿距离均值替代置信度项，重新定义优先级计算公式，以减轻误差传播。
• 在块匹配中引入欧几里得距离作为补充度量，以考虑空间上下文，提升匹配准确性。
• 修改块选择过程，优先选择结构一致性更高、不确定性更低的区域。
• 采用结合像素强度差异与空间接近度的混合相似性度量，以实现更优的块匹配。
• 使用邻近像素曼哈顿距离的均值更新置信度值，以稳定修复过程。
• 迭代应用改进后的算法，从优先级最高的区域开始，确保结构信息的连贯传播。

实验结果

研究问题

• RQ1 在图像修复过程中，如何减少 Criminisi 算法的误差传播？
• RQ2 引入区域上下文在多大程度上能提升块匹配的质量？
• RQ3 基于曼哈顿距离的修改后优先级公式是否能改善修复结果？
• RQ4 欧几里得距离的整合对修复图像的视觉质量有何影响？
• RQ5 所提方法在定量和定性指标上是否均优于原始 Criminisi 算法？

主要发现

• 通过在优先级计算中用曼哈顿距离均值替代置信度项，所提方法显著减少了误差传播。
• 在匹配策略中整合欧几里得距离，使块选择更准确且更具上下文感知能力。
• 视觉结果表明，与原始 Criminisi 算法相比，结构一致性得到改善，伪影更少。
• 定性评估证实，该方法在修复区域中更有效地保留了纹理和边缘信息。
• 实验表明，改进后的算法在不依赖深度学习或复杂优化的情况下，显著提升了整体修复质量。
• 结果证实，修改后的优先级和匹配策略能有效解决原始 Criminisi 方法的关键局限。