[论文解读] Content-Aware Unsupervised Deep Homography Estimation

Jirong Zhang, Chuan Wang+6 more|arXiv (Cornell University)|Sep 12, 2019

Advanced Image and Video Retrieval Techniques参考文献 59被引用 23

一句话总结

本文提出了一种内容感知的无监督深度学习方法用于单应性估计，通过联合学习鲁棒的特征表示与空间异常值掩码，提升在低纹理、低光照及运动物体等具有挑战性的现实场景中的对齐效果。通过采用新颖的三元组损失进行无监督训练，并使用深度特征而非原始像素强度进行优化，该方法在一项新的多样化基准数据集上实现了最先进性能，显著优于以往的有监督和无监督方法。

ABSTRACT

Homography estimation is a basic image alignment method in many applications. It is usually conducted by extracting and matching sparse feature points, which are error-prone in low-light and low-texture images. On the other hand, previous deep homography approaches use either synthetic images for supervised learning or aerial images for unsupervised learning, both ignoring the importance of handling depth disparities and moving objects in real world applications. To overcome these problems, in this work we propose an unsupervised deep homography method with a new architecture design. In the spirit of the RANSAC procedure in traditional methods, we specifically learn an outlier mask to only select reliable regions for homography estimation. We calculate loss with respect to our learned deep features instead of directly comparing image content as did previously. To achieve the unsupervised training, we also formulate a novel triplet loss customized for our network. We verify our method by conducting comprehensive comparisons on a new dataset that covers a wide range of scenes with varying degrees of difficulties for the task. Experimental results reveal that our method outperforms the state-of-the-art including deep solutions and feature-based solutions.

研究动机与目标

• 解决传统基于特征的单应性估计方法在低纹理或低光照场景中因特征质量差而失效的局限性。
• 通过提出一种无监督方法，克服在合成数据上训练的有监督深度单应性方法在真实图像对上的泛化差距。
• 通过学习一种内容感知掩码，在训练过程中抑制不可靠区域，从而提升对深度差异和运动物体的鲁棒性。
• 通过设计一种新颖的三元组损失，实现在无真实单应性监督下的无监督训练，从而鼓励特征一致性。
• 建立一个全面的新基准数据集，包含多样化的现实场景和人工标注的真实对应关系，以支持未来图像对齐研究。

提出的方法

• 该方法采用双流编码器从图像对中提取深度特征，使用共享主干网络与特征优化模块，以增强特征的判别能力。
• 通过端到端方式预测内容感知掩码，以识别并抑制训练过程中不可靠区域（如运动物体或非平面表面）的损失计算。
• 损失计算不基于像素强度，而是基于深度特征，使优化过程对光照变化和纹理差异更具鲁棒性。
• 引入一种新颖的三元组损失，以强制实现几何一致性：最小化同一区域在两幅图像中特征的距离，同时最大化不匹配区域之间的距离。
• 采用两阶段训练策略：首先使用预训练的特征提取器进行训练，然后联合微调所有组件，以提升收敛性和性能。
• 该框架以无监督方式训练，利用光度一致性，三元组损失确保在无真实单应性监督下实现有意义的特征学习。

实验结果

研究问题

• RQ1 深度网络是否能够在无监督监督下，于低纹理、低光照及运动物体等现实场景中稳健地估计单应性？
• RQ2 在无监督单应性估计过程中，深度网络如何有效抑制异常值区域（如动态物体或非平面表面）？
• RQ3 与基于像素的光度损失相比，使用基于深度特征的损失在对齐精度和鲁棒性方面优势有多大？
• RQ4 所提出的三元组损失在实现无监督单应性学习稳定且非平凡的优化方面效果如何？
• RQ5 所提出的方法在包括显著深度变化和光照变化在内的多样化现实场景中是否具备良好的泛化能力？

主要发现

• 与从零开始训练相比，该方法将平均误差降低了4.40%，证明了两阶段训练策略的有效性。
• 与无三元组损失的基线相比，该方法在低光照场景中误差降低70.10%，在低纹理场景中误差降低118.42%，充分证明了其鲁棒性。
• 使用ResNet-18或ShuffleNet主干网络可获得与ResNet-34相当的性能，表明其在轻量化设备上部署的强潜力。
• 内容感知掩码学习到一种平衡的加权图，同时实现内点区域选择与注意力机制，优于仅将掩码用于单一功能的模型。
• 该方法在所有基准类别中均显著优于传统SIFT+RANSAC方法及先前的无监督深度神经网络方法，包括存在运动物体和无纹理区域的挑战性情况。
• 消融实验表明，基于特征的损失和三元组损失对性能至关重要，而使用像素级损失会导致掩码异常稀疏且对齐效果差。