[論文レビュー] LoFTR: Detector-Free Local Feature Matching with Transformers

Jiaming Sun, Zehong Shen+3 more|arXiv (Cornell University)|Apr 1, 2021

Advanced Image and Video Retrieval Techniques参考文献 42被引用数 75

ひとこと要約

LoFTRは検出器を用いない密な局所特徴量マッチングを、Transformer の自己注意とクロス注意を用いて密な対応を確立し、姿勢推定と視覚的ローカライゼーションで最先端の成果を達成します。粗→細の refinement と効率性のための linear-Transformer variant を採用します。

ABSTRACT

We present a novel method for local image feature matching. Instead of performing image feature detection, description, and matching sequentially, we propose to first establish pixel-wise dense matches at a coarse level and later refine the good matches at a fine level. In contrast to dense methods that use a cost volume to search correspondences, we use self and cross attention layers in Transformer to obtain feature descriptors that are conditioned on both images. The global receptive field provided by Transformer enables our method to produce dense matches in low-texture areas, where feature detectors usually struggle to produce repeatable interest points. The experiments on indoor and outdoor datasets show that LoFTR outperforms state-of-the-art methods by a large margin. LoFTR also ranks first on two public benchmarks of visual localization among the published methods.

研究の動機と目的

• 検出器ベースのマッチングの再現性の問題を回避するため、検出器ステージを排除し、直接密なマッチングを行う。
• Transformer の全体受容域を活用して、低テクスチャや繰り返し領域でも信頼性の高い対応を生成する。
• スケーラビリティのために効率的な注意機構を用いた粗→細マッチングパイプラインを導入する。
• 室内外データセットでの相対姿勢推定と視覚的ローカライゼーションにおける最先端性能を実証する。

提案手法

• CNN バックボーンの FPN から image pair を用いて粗粒度および細粒度の局所特徴を抽出する。
• 粗粒度特徴を Local Feature Transformer (LoFTR) で Interleaved self- and cross-attention 層を用いて変換する。
• 線形アテンション変種を用いてアテンションの計算量を O(N) にする。
• 最適輸送または dual-softmax のいずれかで粗粒度のマッチ確率を計算し、高信頼度のマッチを選択する。
• 局所窓の相関に基づく refinement（粗→細）で選択した粗マッチをサブピクセル精度に refine する。
• 粗レベル（信頼度ベース）と細レベル（L2 with uncertainty weighting） Loss で supervise する。

Figure 1: Comparison between the proposed method LoFTR and the detector-based method SuperGlue [ 37 ] . This example demonstrates that LoFTR is capable of finding correspondences on the texture-less wall and the floor with repetitive patterns, where detector-based methods struggle to find repeatable

実験結果

リサーチクエスチョン

• RQ1 Detector-free な dense matching via Transformers は、低テクスチャや繰り返し領域で堅牢な対応を生み出せるか？
• RQ2 粗→細で Transformer ベースのアプローチは、 detector ベースおよび他の detector-free 手法と比べて相対姿勢推定と視覚ローカライゼーションを改善するか？
• RQ3 線形アテンションと従来のアテンションの性能と効率に与える影響はどうか？
• RQ4 粗レベルと細レベルの監督は全体のマッチ精度にどう寄与するか？

主な発見

• LoFTR は、姿勢推定と視覚ローカライゼーションにおいて複数の室内外データセットで最先端の性能を達成する。
• 検出器を使わない設計は、低特徴量領域や困難な条件（低テクスチャ、モーションブラー、繰り返しパターン）で高品質なマッチを生み出す。
• Transformer ベースのグローバル受容野は、従来の detector ベース前提を超えた dense matching を可能にし、基準法に対して顕著な性能向上をもたらす。
• 粗→細の refinement は精度をサブピクセルレベルにまで向上させる。
• LoFTR は dual-softmax または optimal transport で HPatches、ScanNet、MegaDepth、VisLoc といったベンチマークで強力な結果を出し、2つの公開視覚ローカライゼーションベンチマークで1位に輝く。

Figure 2: Overview of the proposed method. LoFTR has four components: 1. A local feature CNN extracts the coarse-level feature maps $\tilde{F}^{A}$ and $\tilde{F}^{B}$ , together with the fine-level feature maps $\hat{F}^{A}$ and $\hat{F}^{B}$ from the image pair $I^{A}$ and $I^{B}$ (Section 3.1 ).