[论文解读] Correspondence Insertion for As-Projective-As-Possible Image Stitching

William X. Liu, Tat-Jun Chin|arXiv (Cornell University)|Aug 29, 2016

Advanced Image and Video Retrieval Techniques参考文献 16被引用 5

一句话总结

本文提出一种数据驱动的对应点插入方法，以增强在特征对应稀少区域的等投影尽可能好（APAP）图像拼接效果。通过自动检测错位区域并插入新的、精确的点对应关系，该方法在不增加几何失真的前提下提升了形变灵活性，在存在显著视差的复杂场景中，其对齐效果优于基线APAP方法及当前最先进方法。

ABSTRACT

Spatially varying warps are increasingly popular for image alignment. In particular, as-projective-as-possible (APAP) warps have been proven effective for accurate panoramic stitching, especially in cases with significant depth parallax that defeat standard homographic warps. However, estimating spatially varying warps requires a sufficient number of feature matches. In image regions where feature detection or matching fail, the warp loses guidance and is unable to accurately model the true underlying warp, thus resulting in poor registration. In this paper, we propose a correspondence insertion method for APAP warps, with a focus on panoramic stitching. Our method automatically identifies misaligned regions, and inserts appropriate point correspondences to increase the flexibility of the warp and improve alignment. Unlike other warp varieties, the underlying projective regularization of APAP warps reduces overfitting and geometric distortion, despite increases to the warp complexity. Comparisons with recent techniques for parallax-tolerant image stitching demonstrate the effectiveness and simplicity of our approach.

研究动机与目标

• 解决在特征匹配不足区域中APAP形变失去灵活性和准确性的局限性。
• 改善因显著深度视差导致标准单应矩阵失效的全景拼接场景。
• 开发一种通过在特征稀少区域插入新对应点来增强APAP形变的方法。
• 在增加形变复杂度的情况下，仍保持几何保真度并减少过拟合。

提出的方法

• 利用APAP形变残差误差的置信度度量方法，检测输入图像重叠区域中的错位区域。
• 采用移动直接线性变换（MDLT）框架，对新对应点进行搜索，实现高效且精确的对应估计。
• 应用局部优化策略，在形变误差较高的区域插入新对应点，受空间自适应加权方案引导。
• 通过在局部窗口（31×31）内进行密集搜索，定位可靠对应点，最大限度减少误报。
• 可无缝集成至现有APAP流水线中，增强形变效果，而不改变其底层投影正则化机制。
• 引入正则化项以控制新对应点的影响，防止过拟合并保持平滑性。

实验结果

研究问题

• RQ1 自动对应点插入能否提升全景拼接中特征稀少区域的APAP形变性能？
• RQ2 如何可靠地检测并插入新对应点，以增强形变灵活性而不引入几何失真？
• RQ3 在具有复杂深度变化的场景中，所提方法是否优于基线APAP及视差容忍型拼接技术？
• RQ4 对应点插入在挑战性宽基线图像对中，能在多大程度上减少错位和伪影？
• RQ5 该方法能否在保持全局投影一致性的同时，适应局部复杂场景几何结构？

主要发现

• 所提出的APAP+CI方法显著减少了低特征密度区域（如烟筒和玻璃建筑）中的几何失真，而基线APAP在此类区域中会失效。
• 在具有复杂深度视差的场景中（如寺庙和商铺橱窗图像对），APAP+CI在视觉对齐效果上优于原始APAP和视差容忍型拼接方法。
• 通过插入对应点，该方法成功修复了背景结构中的不连续性（如背景中的塔楼），恢复了结构连续性。
• 插入25个新对应点（如图1c所示）显著提升了对齐效果，尤其在重复纹理区域表现更优。
• 与基于光流的方法相比，该方法在宽基线拼接中生成了更精确的对应点，避免了在无纹理或重复区域常见的不准确性。
• 该方法保持了APAP的投影正则化特性，即使在形变复杂度增加的情况下也能防止过拟合。