[论文解读] From Pairs to Sequences: Track-Aware Policy Gradients for Keypoint Detection

Yepeng Liu, Hao Li+9 more|arXiv (Cornell University)|Feb 24, 2026

Robotics and Sensor-Based Localization被引用 0

一句话总结

TraqPoint 将关键点检测重新表述为序列级强化学习，以优化跨图像序列的长期可追踪性，从而在成对和序列任务上达到最先进的结果。

ABSTRACT

Keypoint-based matching is a fundamental component of modern 3D vision systems, such as Structure-from-Motion (SfM) and SLAM. Most existing learning-based methods are trained on image pairs, a paradigm that fails to explicitly optimize for the long-term trackability of keypoints across sequences under challenging viewpoint and illumination changes. In this paper, we reframe keypoint detection as a sequential decision-making problem. We introduce TraqPoint, a novel, end-to-end Reinforcement Learning (RL) framework designed to optimize the extbf{Tra}ck- extbf{q}uality (Traq) of keypoints directly on image sequences. Our core innovation is a track-aware reward mechanism that jointly encourages the consistency and distinctiveness of keypoints across multiple views, guided by a policy gradient method. Extensive evaluations on sparse matching benchmarks, including relative pose estimation and 3D reconstruction, demonstrate that TraqPoint significantly outperforms some state-of-the-art (SOTA) keypoint detection and description methods.

研究动机与目标

• 识别成对关键点训练与序列 SLAM/SfM 要求（随时间的可追踪性）之间的差距。
• 提出一个序列感知的强化学习框架，直接在图像序列上优化关键点轨迹。
• 开发一个将多视角显著性一致性与全局辨识性结合起来的可追踪性奖励。
• 预训练描述子分支并将其冻结，在策略学习期间提供稳定的奖励信号。
• 在相对姿态估计、定位、视觉里程计和3D 重建方面展示最先进的性能。

提出的方法

• 采用双分支网络，其中轻量级策略头在参考图像上选择关键点，而冻结的描述子分支提供稳定的描述子。
• 在 MegaDepth 对对对的配对上对描述子分支进行预训练，采用双Softmax 相似度和 focal 损失以获得可靠描述子。
• 将关键点检测表述为一个序列决策过程，策略 πθ 输出图像上的逐像素分布；从该分布中采样 N 个关键点。
• 使用全局采样（来自策略分布）与基于网格的局部采样相结合的混合采样策略，以确保空间覆盖。
• 将对每个采样的关键点定义一个可追踪奖励，即在关键点可见的帧中的平均值，结合：（i）排名奖励（局部块的跨视一致性）和（ii）辨识奖励（通过最近邻/次近邻比值的描述子辨识度）。
• 使用综合损失对策略进行优化：策略梯度项（对期望奖励取负）、空间熵正则化，以及用于早期收敛的温暖 BCE 基项；使用 10% 的暖-Up 期。

实验结果

研究问题

• RQ1 优化以长期可追踪性为目标的关键点是否能在下游序列任务（如 SLAM/SfM）中优于以成对优化的关键点？
• RQ2 基于可追踪性的 RL 奖励是否比成对奖励更好地在跨视一致性与全局辨识性之间取得平衡？
• RQ3 序列长度和采样关键点数量是否影响学习稳定性与最终性能？
• RQ4 与最先进的检测器/描述子相比，TraqPoint 在成对匹配、视觉定位、视觉里程计和3D 重建方面的性能如何？

主要发现

• TraqPoint 在 MegaDepth 与 ScanNet 的姿态估计任务上超越了最先进的成对与基于 RL 的方法。
• 在视觉定位（Aachen Day-Night）中，TraqPoint 在日夜设置下均表现最佳。
• 在 KITTI 的视觉里程计任务中，TraqPoint 提供了更低的 ATE/MTE 和更高的平均跟踪长度，相较于竞争方法。
• 在 ETH 3D 重建基准中，TraqPoint 产生更多对齐图像和更密集的点云，轨迹更长，重投影误差可控。
• 消融实验表明，序列式 RL 相较于成对 RL 提高了 AUC@5° 和 AKTL，且提出的排序奖励与辨识度奖励对性能贡献显著。
• 骨干网络实验表明，序列感知的 RL 方法在不同架构（如 ResNet-50 与 DINOv3-ConvNeXt）上均有收益，证实该方法对描述子质量具有互补作用。