[论文解读] ALIKE: Accurate and Lightweight Keypoint Detection and Descriptor Extraction

Xiaoming Zhao, Xingming Wu+4 more|arXiv (Cornell University)|Dec 6, 2021

Robotics and Sensor-Based Localization被引用 6

一句话总结

ALIKE 提出了一种可微的关键点检测模块，通过在得分图上使用 softargmax 实现亚像素关键点定位，并通过重投影误差和分散性峰值损失进行训练，从而提升精度。该方法在单应性估计、相机位姿估计和视觉重定位任务中达到最先进性能，且在消费级 GPU 上以 95 FPS 的速度运行，采用轻量级网络架构。

ABSTRACT

Existing methods detect the keypoints in a non-differentiable way, therefore they can not directly optimize the position of keypoints through back-propagation. To address this issue, we present a partially differentiable keypoint detection module, which outputs accurate sub-pixel keypoints. The reprojection loss is then proposed to directly optimize these sub-pixel keypoints, and the dispersity peak loss is presented for accurate keypoints regularization. We also extract the descriptors in a sub-pixel way, and they are trained with the stable neural reprojection error loss. Moreover, a lightweight network is designed for keypoint detection and descriptor extraction, which can run at 95 frames per second for 640x480 images on a commercial GPU. On homography estimation, camera pose estimation, and visual (re-)localization tasks, the proposed method achieves equivalent performance with the state-of-the-art approaches, while greatly reduces the inference time.

研究动机与目标

• 为解决现有深度学习方法中关键点检测的不可微性问题，该问题阻碍了通过反向传播直接优化关键点位置。
• 通过基于局部得分图块的 softargmax 构建可微的关键点检测模块，提升关键点的定位精度与可重复性。
• 通过用神经重投影误差（NRE）损失替代三元组损失，提升描述子训练的稳定性，该损失在训练过程中利用整个描述子图。
• 设计一种轻量级 CNN 架构，在保持高性能的同时实现在标准硬件上的实时推理（95 FPS）。
• 在下游任务（如单应性估计、相机位姿估计和视觉重定位）中实现具有竞争力的性能，且计算成本极低。

提出的方法

• 提出一种可微的关键点检测（DKD）模块，对局部得分图块应用 softargmax，使梯度能从检测到的亚像素关键点反向传播至得分图。
• 引入关键点重投影损失，最小化图像对中对应关键点之间的重投影误差，直接优化关键点位置。
• 提出分散性峰值损失，对得分图进行正则化，确保关键点位置处的响应尖锐集中，减少类块状响应。
• 采用神经重投影误差（NRE）损失训练密集描述子，通过在优化过程中利用整个描述子图，实现更稳定的收敛。
• 设计一种轻量级 CNN，融合多层级特征，实现高效的关键点检测与描述子提取，专为实时性能优化。
• 引入可靠性损失，用于过滤低置信度关键点，提升匹配鲁棒性。

实验结果

研究问题

• RQ1 通过 softargmax 实现的可微关键点检测是否能相比基于非可微 NMS 的方法，提升亚像素定位精度？
• RQ2 所提出的重投影损失是否能通过最小化图像对之间的几何误差，实现更准确且更稳定的关键点位置？
• RQ3 当从密集描述子图中采样稀疏描述子时，NRE 损失是否能比三元组损失提供更稳定的描述子训练？
• RQ4 轻量级 CNN 架构在保持最先进性能的同时，能在消费级 GPU 上实现 95 FPS 的实时推理速度，其性能极限如何？
• RQ5 与现有最先进方法相比，该方法在极端光照和视角变化等挑战性场景下的表现如何？

主要发现

• ALIKE-L 在 Aachen Day-Night 数据集上仅使用 2048 个关键点，即实现 74.5% 的定位精度（容忍度 0.25m 和 2°），优于大多数最先进方法在关键点数量受限条件下的表现。
• ALIKE-N 在 640×480 图像上以 95 FPS 的速度运行于消费级 NVIDIA TITAN X（Pascal），在计算成本相近的情况下，显著优于 SuperPoint 的速度与匹配精度。
• 在极端光照和视角变化场景下，ALIKE-N 的匹配准确率（MA）达到 SuperPoint 的两倍，尽管 SuperPoint 的 GFLOPs 数量是 ALIKE-N 的三倍。
• 所提出的分散性峰值损失能有效抑制得分图中的类块状响应，提升关键点可重复性与定位精度。
• NRE 损失相比三元组损失能实现更稳定的描述子训练，因其在优化过程中覆盖整个描述子图，从而减少训练不稳定性。
• 在单应性估计与相机位姿估计任务中，ALIKE 的性能与最先进方法相当或更优，同时显著降低推理时间。