[论文解读] DeepMeshFlow: Content Adaptive Mesh Deformation for Robust Image Registration

Nianjin Ye, Chuan Wang+4 more|arXiv (Cornell University)|Dec 11, 2019

Advanced Vision and Imaging参考文献 30被引用 10

一句话总结

本文提出 DeepMeshFlow，一种无监督深度学习框架，用于鲁棒图像配准，结合了网格流（meshflow）的非线性运动建模能力与深度单应性（deep homography）的纹理鲁棒性。该方法采用内容自适应掩码和多分辨率网格变形，以排除低纹理、低光照及复杂场景中的异常值，提升对齐精度，在新基准数据集上实现 SOTA 性能，平均 L2 误差为 1.99。

ABSTRACT

Image alignment by mesh warps, such as meshflow, is a fundamental task which has been widely applied in various vision applications(e.g., multi-frame HDR/denoising, video stabilization). Traditional mesh warp methods detect and match image features, where the quality of alignment highly depends on the quality of image features. However, the image features are not robust in occurrence of low-texture and low-light scenes. Deep homography methods, on the other hand, are free from such problem by learning deep features for robust performance. However, a homography is limited to plane motions. In this work, we present a deep meshflow motion model, which takes two images as input and output a sparse motion field with motions located at mesh vertexes. The deep meshflow enjoys the merics of meshflow that can describe nonlinear motions while also shares advantage of deep homography that is robust against challenging textureless scenarios. In particular, a new unsupervised network structure is presented with content-adaptive capability. On one hand, the image content that cannot be aligned under mesh representation are rejected by our learned mask, similar to the RANSAC procedure. On the other hand, we learn multiple mesh resolutions, combining to a non-uniform mesh division. Moreover, a comprehensive dataset is presented, covering various scenes for training and testing. The comparison between both traditional mesh warp methods and deep based methods show the effectiveness of our deep meshflow motion model.

研究动机与目标

• 解决传统网格流方法依赖手工设计特征、在低纹理或低光照条件下失效的局限性。
• 通过稀疏网格变形实现非平面运动表示，突破基于单应性的方法对平面运动的约束。
• 通过训练过程中学习内容自适应掩码，提升对动态物体和深度不连续性的鲁棒性。
• 开发一种无监督训练范式，避免依赖真实光流或密集标注。
• 建立一个全面且多样化的基准数据集，用于跨多个挑战性类别的双视角图像对齐。

提出的方法

• 网络接收两幅输入图像，预测定义在网格顶点上的稀疏运动场，实现高效的非线性运动建模。
• 提出一种新型三元组损失，用于训练内容自适应掩码，识别并排除不适合网格变形的区域（如运动物体或无纹理区域）。
• 模型自适应学习多种网格分辨率，支持非均匀网格划分，聚焦于复杂区域的同时保持效率。
• 采用无监督方式训练，利用可微分的图像扭曲层和基于深度特征相似性的损失函数，而非像素级重建。
• 架构集成主干网络（如 ResNet）以提取深层特征，用于同时预测网格变形和自适应掩码。
• 通过比较扭曲后源图像与目标图像的特征，避免直接的像素级监督，从而在复杂条件下提升泛化能力。

实验结果

研究问题

• RQ1 基于深度学习的网格变形模型是否能在传统特征方法失效的低纹理和低光照场景中实现鲁棒图像配准？
• RQ2 内容自适应掩码在存在动态物体或深度不连续性时，如何提升基于网格的配准鲁棒性？
• RQ3 与固定分辨率网格相比，自适应网格分辨率在复杂场景中能在多大程度上提升性能？
• RQ4 无监督训练策略是否能有效学习准确的网格流，而无需真实运动场或光流监督？
• RQ5 在多种场景类别中，该方法在定量和定性上与经典网格流及深度单应性基线相比表现如何？

主要发现

• 所提方法在测试集上实现平均 L2 误差 1.99，显著优于 Meshflow（2.44）和无监督深度单应性（2.45）。
• 消融实验表明，若移除自适应掩码，平均误差上升至 2.50，低纹理类别中误差提升 0.96 点，证明其在鲁棒性中的关键作用。
• 固定分辨率网格（1×1、4×4、16×16）无法达到自适应网格分辨率的性能，证明非均匀网格划分的优势。
• 视觉对比显示，DeepMeshFlow 在混合图像中显著减少伪影和模糊，尤其在建筑立面和地面平面等深度边界处表现更优。
• 该方法在数据集全部五个类别——常规、低纹理、低光照、小前景和大前景中均表现优异，表明其广泛鲁棒性。
• 采用基于深度特征的损失而非像素级重建，显著提升了无纹理和噪声区域的对齐质量。