[论文解读] Automatic Image Registration in Infrared-Visible Videos using Polygon Vertices

Tanushri Chakravorty, Guillaume-Alexandre Bilodeau+1 more|arXiv (Cornell University)|Mar 17, 2014

Advanced Image and Video Retrieval Techniques参考文献 15被引用 7

一句话总结

该论文提出了一种基于特征的红外-可见光视频配准新方法，通过目标轮廓的多边形近似与时间关键点匹配实现。通过离散曲线演化（DCE）检测关键点，基于局部形状凸性与欧氏距离进行匹配，并利用时间缓冲区与重叠率准则选择最优仿射变换，该方法在多目标及非平面场景中显著降低了配准误差，优于以往工作。

ABSTRACT

In this paper, an automatic method is proposed to perform image registration in visible and infrared pair of video sequences for multiple targets. In multimodal image analysis like image fusion systems, color and IR sensors are placed close to each other and capture a same scene simultaneously, but the videos are not properly aligned by default because of different fields of view, image capturing information, working principle and other camera specifications. Because the scenes are usually not planar, alignment needs to be performed continuously by extracting relevant common information. In this paper, we approximate the shape of the targets by polygons and use affine transformation for aligning the two video sequences. After background subtraction, keypoints on the contour of the foreground blobs are detected using DCE (Discrete Curve Evolution)technique. These keypoints are then described by the local shape at each point of the obtained polygon. The keypoints are matched based on the convexity of polygon's vertices and Euclidean distance between them. Only good matches for each local shape polygon in a frame, are kept. To achieve a global affine transformation that maximises the overlapping of infrared and visible foreground pixels, the matched keypoints of each local shape polygon are stored temporally in a buffer for a few number of frames. The matrix is evaluated at each frame using the temporal buffer and the best matrix is selected, based on an overlapping ratio criterion. Our experimental results demonstrate that this method can provide highly accurate registered images and that we outperform a previous related method.

研究动机与目标

• 解决由于视场角差异、传感器特性不同以及缺乏纹理或强度对应关系导致的红外-可见光视频序列错位问题。
• 提升在目标不一定是平面且可能处于不同深度平面的多模态视频监控中的配准精度。
• 通过独立处理每个目标的轮廓以减少歧义和异常匹配，克服全局特征匹配的局限性。
• 基于前景像素重叠率开发稳健的变换选择准则，以提升时间上的对齐精度。
• 为光照条件变化下的目标检测、跟踪与识别等应用提供精确的图像融合。

提出的方法

• 在背景减除后，将可见光与红外视频帧中的目标形状近似为噪声多边形。
• 使用离散曲线演化（DCE）技术检测轮廓关键点，以识别多边形边界上的显著点。
• 通过局部形状特征（特别是多边形顶点的凸性）描述每个关键点。
• 基于形状描述符之间的欧氏距离与几何一致性，在对应多边形之间匹配关键点。
• 将匹配的关键点对存储在多个帧的时间缓冲区中，以累积可靠的对应关系。
• 在每一帧中，利用重叠率准则（变换后前景像素的交并比）评估候选仿射变换矩阵，选择使对齐效果最优的矩阵。

实验结果

研究问题

• RQ1 与全局特征匹配相比，目标轮廓的多边形近似是否能提升红外-可见光视频配准中的特征匹配精度？
• RQ2 匹配关键点的时间缓冲机制在多大程度上增强了仿射变换估计的鲁棒性与准确性？
• RQ3 基于前景像素重叠率的准则在选择最优变换矩阵方面，相较于传统相似性度量在多大程度上表现更优？
• RQ4 该方法能否有效实现非平面场景中存在深度差异的多个目标的配准？
• RQ5 在不同目标数量下，该方法在配准误差方面与以往工作相比的定量表现如何？

主要发现

• 对于单人场景，该方法在100帧缓冲区大小下实现了0.6084像素的平均配准误差，显著低于Sonn等人[2]报告的2.3522像素。
• 在场景中存在五人时，该方法在100帧缓冲区下实现了1.1354像素的平均误差，优于Sonn等人在相同条件下的4.5206像素。
• 在所有测试目标数量（1–5）下，该方法均降低了误差，表明在30帧与100帧缓冲区配置下，对基线方法[2]均表现出一致的优越性。
• 单独处理每个多边形可减少歧义并过滤掉矛盾匹配，尤其在背景减除不完美导致每人生成多个多边形的情况下效果显著。
• 基于重叠率的变换选择准则实现了更精确且稳定的矩阵更新，从而提升了整体对齐精度。
• 即使目标不在同一深度平面，该方法仍保持有效性，尽管此时性能略有下降，提示未来可扩展为对每个目标使用独立的变换矩阵。