[论文解读] Coarse-to-fine Seam Estimation for Image Stitching

Tianli Liao, Jing Chen+1 more|arXiv (Cornell University)|May 24, 2018

Advanced Image and Video Retrieval Techniques参考文献 16被引用 3

一句话总结

本文提出一种用于图像拼接的粗到细缝合估计方法，通过迭代使用补丁点评估算法优化缝合线，从而提升感知质量。通过基于缝合线上像素相关性和方差重新加权差异图，该方法实现了优于传统缝合切割和现有缝合驱动方法的一致性感知结果。

ABSTRACT

Seam-cutting and seam-driven techniques have been proven effective for handling imperfect image series in image stitching. Generally, seam-driven is to utilize seam-cutting to find a best seam from one or finite alignment hypotheses based on a predefined seam quality metric. However, the quality metrics in most methods are defined to measure the average performance of the pixels on the seam without considering the relevance and variance among them. This may cause that the seam with the minimal measure is not optimal (perception-inconsistent) in human perception. In this paper, we propose a novel coarse-to-fine seam estimation method which applies the evaluation in a different way. For pixels on the seam, we develop a patch-point evaluation algorithm concentrating more on the correlation and variation of them. The evaluations are then used to recalculate the difference map of the overlapping region and reestimate a stitching seam. This evaluation-reestimation procedure iterates until the current seam changes negligibly comparing with the previous seams. Experiments show that our proposed method can finally find a nearly perception-consistent seam after several iterations, which outperforms the conventional seam-cutting and other seam-driven methods.

研究动机与目标

• 解决传统缝合切割方法依赖基于平均的质量度量所带来的局限性，这些度量可能与人类感知不一致。
• 克服缝合线中最低度量得分的缝合线不一定是视觉上最一致或最优的问题。
• 开发一种通过聚焦缝合线上像素的局部相关性和方差来优化拼接缝合线的方法。
• 通过迭代重新估计使用优化差异图的缝合线，实现感知一致的拼接结果。
• 提供一种稳健的迭代框架，收敛至近乎感知一致的缝合线，而无需多个对齐假设。

提出的方法

• 使用基于颜色强度差异的标准差异图，通过传统缝合切割方法启动缝合线估计。
• 应用补丁点评估算法，评估当前缝合线上像素的局部相关性和方差。
• 利用评估得分修改差异图：对评估值较高的像素（表示潜在错位）增加平滑度成本。
• 在缝合线两侧各5像素的带状区域内，使用指数加权函数重新计算差异图：$ f(x) = e^{ au(x - ho)} $，其中 $ x $ 为评估得分。
• 基于重新计算的差异图，使用更新的能量函数通过图割算法重新估计拼接缝合线。
• 迭代执行评估与重新估计过程，直至新缝合线被包含在先前的带状区域中，表示收敛。

实验结果

研究问题

• RQ1 即使平均质量度量最小，缝合线是否仍可能因高方差或较差的局部相关性而感知上次优？
• RQ2 基于局部像素相关性和方差的迭代优化是否能提升拼接图像的感知质量？
• RQ3 使用补丁点评估重新加权差异图是否能产生更一致且视觉上更自然的缝合线？
• RQ4 通过多轮迭代优化缝合线的粗到细策略是否能优于单次通过的缝合切割方法？
• RQ5 与现有缝合驱动方法相比，所提方法在感知一致性和视觉伪影减少方面表现如何？

主要发现

• 所提方法生成的拼接结果在感知上比传统缝合切割方法和其他缝合驱动方法更一致。
• 迭代优化过程平均在5轮内收敛，实现稳定且感知最优的缝合线。
• 视觉伪影（如结构不一致，例如错位边缘或纹理）显著减少，尤其在复杂或存在视差的区域。
• 补丁点评估能有效识别错位像素，表现为视觉不一致区域的评估得分较高。
• 在Parallax和SEAGULL等公开数据集上，该方法优于SEAGULL和Parallax，尤其在保持结构一致性方面表现更优。
• 通过梯度域融合生成的最终拼接结果，过渡更平滑，可见缝合线更少，优于基线方法。