[论文解读] Coarse to fine non-rigid registration: a chain of scale-specific neural networks for multimodal image alignment with application to remote sensing

Armand Zampieri, Guillaume Charpiat+1 more|arXiv (Cornell University)|Feb 27, 2018

Advanced Vision and Imaging参考文献 3被引用 8

一句话总结

本文提出一种自粗到精、针对特定尺度的神经网络链，用于多模态遥感图像配准，通过直接预测形变场在线性时间内绕过缓慢的梯度下降。该方法在对齐RGB图像与地籍图及道路多义线方面达到最先进性能，优于关键点匹配方法，同时在多种数据集和分辨率下保持高速与高精度。

ABSTRACT

We tackle here the problem of multimodal image non-rigid registration, which is of prime importance in remote sensing and medical imaging. The difficulties encountered by classical registration approaches include feature design and slow optimization by gradient descent. By analyzing these methods, we note the significance of the notion of scale. We design easy-to-train, fully-convolutional neural networks able to learn scale-specific features. Once chained appropriately, they perform global registration in linear time, getting rid of gradient descent schemes by predicting directly the deformation.We show their performance in terms of quality and speed through various tasks of remote sensing multimodal image alignment. In particular, we are able to register correctly cadastral maps of buildings as well as road polylines onto RGB images, and outperform current keypoint matching methods.

研究动机与目标

• 解决RGB图像与地籍图等多模态遥感图像错位的问题，此类错位会阻碍机器学习与地理空间分析。
• 克服传统配准方法的局限性，包括梯度下降优化速度慢以及依赖手工设计特征。
• 开发一种深度学习框架，实现非刚性形变的直接、端到端预测，无需迭代优化。
• 实现在不同遥感数据集上对复杂结构（如建筑角点和道路多义线）的高精度对齐。
• 通过实现对错位真实标签的可靠自动配准，促进大规模、高精度训练数据集的构建。

提出的方法

• 设计一系列全卷积、针对特定尺度的神经网络，每个网络专门训练以预测特定分辨率下的形变场。
• 采用自粗到精策略：低分辨率网络预测大尺度形变，再由高分辨率网络逐步细化。
• 使用像素级损失函数端到端训练每个网络，比较经形变的源图像与目标图像，采用L2损失和正则化项。
• 在不同尺度的网络之间引入跳跃连接，以在细化过程中保留细节，确保空间一致性。
• 通过人工随机形变进行数据增强，以提升泛化能力，尤其在稀疏模态（如基于矢量的地籍图）上表现更优。
• 通过在建筑边缘和角点区域加权损失，提升对边缘丰富区域的训练，从而改善结构特征的对齐效果。

实验结果

研究问题

• RQ1 自粗到精的特定尺度神经网络链是否能在多模态遥感图像的非刚性配准中，同时实现比经典方法更快的速度与更高的精度？
• RQ2 端到端深度学习在多模态非刚性配准中，能在多大程度上避免迭代优化的需要？
• RQ3 该模型在具有不同分辨率和模态类型的多种遥感数据集上，泛化能力如何？
• RQ4 该方法是否能有效将稀疏的矢量地籍数据（如建筑多边形和道路多义线）与密集的RGB图像配准？
• RQ5 自粗到精的多尺度设计是否能提升对建筑角点和道路网络等复杂几何结构的对齐效果？

主要发现

• 所提方法在对齐RGB图像与地籍图及道路多义线方面达到最先进性能，在Forez和Kitsap数据集上均优于关键点匹配方法。
• 在Kitti数据集（9 cm/像素分辨率）上，该方法成功将高分辨率RGB图像与语义标签对齐，超过90%的像素实现亚像素级错位。
• Kitti数据集的错位直方图显示误差显著降低，绝大多数像素的误差落在0.5像素以内。
• 该模型在其他任务（如立体视觉中的深度估计）中也表现出良好泛化能力，仅需极少调参即可获得有前景的结果。
• 使用特定尺度的网络实现线性时间推理，显著优于基于梯度下降的方法，速度大幅提升，同时保持高精度。
• 在地籍图中引入角点感知通道后，共享墙体的相邻建筑对齐效果得到改善，表明模型对结构特征具有高度敏感性。