[论文解读] DISK: Learning local features with policy gradient

Michał J. Tyszkiewicz, Pascal Fua+1 more|arXiv (Cornell University)|Jun 24, 2020

Advanced Image and Video Retrieval Techniques参考文献 50被引用 184

一句话总结

DISK 使用强化学习端到端学习局部关键点和描述子，目标是在离散关键点策略下实现大量正确的特征匹配。该方法产生密集、具辨别性的特征，并在三个基准测试上达到最先进的结果。

ABSTRACT

Local feature frameworks are difficult to learn in an end-to-end fashion, due to the discreteness inherent to the selection and matching of sparse keypoints. We introduce DISK (DIScrete Keypoints), a novel method that overcomes these obstacles by leveraging principles from Reinforcement Learning (RL), optimizing end-to-end for a high number of correct feature matches. Our simple yet expressive probabilistic model lets us keep the training and inference regimes close, while maintaining good enough convergence properties to reliably train from scratch. Our features can be extracted very densely while remaining discriminative, challenging commonly held assumptions about what constitutes a good keypoint, as showcased in Fig. 1, and deliver state-of-the-art results on three public benchmarks.

研究动机与目标

• 由于关键点选择与匹配的离散性，激励端到端学习局部特征的挑战。
• 提出一个基于强化学习的框架（DISK），以优化正确的特征匹配。
• 创建一个简单、表达力强的概率模型，使训练和推理阶段对齐，以实现从零开始的可靠训练。
• 证明密集、具辨别性的特征能够超越关于关键点质量的传统假设。

提出的方法

• 提出一个概率模型，用于处理离散关键点选择以进行RL优化。
• 使用策略梯度优化来最大化大量正确特征匹配的代理目标。
• 端到端训练，以耦合关键点检测、方向估计和描述，同时保持可微分性。
• 利用RL信号，避免依赖不精确的目标和不可微分组件。
• 实现具有强辨别性和鲁棒下游匹配能力的密集特征提取。

实验结果

研究问题

• RQ1 能否通过强化学习端到端优化离散关键点策略，以最大化正确匹配？
• RQ2 通过策略梯度学习的密集、具辨别性的特征表示是否能实现更优的匹配性能？
• RQ3 在端到端训练设置中，DISK 与先前的手工设计或部分学习的描述符相比如何？
• RQ4 从零开始以代理RL目标进行训练是否能为局部特征学习带来可靠的收敛？
• RQ5 学习到的特征在多个公开基准上是否保持性能？

主要发现

• DISK 在三个公开基准上达到最先进的结果。
• 这些特征可以被非常密集地提取，同时保持具辨别性。
• 该方法克服了与不可微分关键点选择相关的训练挑战。
• 从零开始使用代理目标进行训练，可获得稳健的学习和可靠的收敛。
• 该方法通过不依赖不可微分的端到端监督，放宽了先前基于RL的局部特征方法的一些局限性。