[論文レビュー] LightGlue: Local Feature Matching at Light Speed

Philipp Lindenberger, Paul-Edouard Sarlin+1 more|arXiv (Cornell University)|Jun 23, 2023

Human Pose and Action Recognition被引用数 11

ひとこと要約

LightGlue は、疎な局所特徴対応のための高速で適応的な深層マッチャーで、従来の疎マッチャーを上回りつつ、密マッチャーの精度に近づく。早期停止機構と計算削減のためのポイント剪定を備える。

ABSTRACT

We introduce LightGlue, a deep neural network that learns to match local features across images. We revisit multiple design decisions of SuperGlue, the state of the art in sparse matching, and derive simple but effective improvements. Cumulatively, they make LightGlue more efficient - in terms of both memory and computation, more accurate, and much easier to train. One key property is that LightGlue is adaptive to the difficulty of the problem: the inference is much faster on image pairs that are intuitively easy to match, for example because of a larger visual overlap or limited appearance change. This opens up exciting prospects for deploying deep matchers in latency-sensitive applications like 3D reconstruction. The code and trained models are publicly available at https://github.com/cvg/LightGlue.

研究の動機と目的

• 困難な条件下での画像ペアに対する、効率的かつ正確な疎局所特徴マッチングを動機づける。
• 従来の Transformer ベースのマッチャー（特に SuperGlue）と比べた訓練の安定性と速度の向上。
• 易しいペアで早期退出する適応的な深さ・幅対応アーキテクチャを開発し、役に立たない点を剪定する。
• 類似性とマッチ可 (matchability) を分離し、層ごとの効率的な監視と高速推論を可能にする。

提案手法

• 2つの画像に対して、自己-注意とクロス-注意を備えた L 個の同一レイヤのスタックを用いて、各点の状態を更新する。
• 自己注意に回転型の2D相対位置エンコーディングを採用して、層間の相対幾何を保つ。
• 各点のマッチ可スコアと対の類似度スコアを組み合わせて、ソフトな部分アサインメント P を形成する軽量な対応ヘッドを計算する。
• 信頼度に基づく退出基準と点の剪定による適応的な深さ/幅機構を導入し、易しいケースでの計算を削減する。
• 2 段階で訓練する。最初は対応予測のための合成ホモグラフィ、次に実世界の洗練のため MegaDepth を用いる。早期退出を可能にするため深層監督を使用。
• 軽量ヘッドで複数のレイヤでアサインメントを予測して、Sinkhorn ベースの手法のような重い最適輸送ソルバーからマッチングを分離する。

実験結果

リサーチクエスチョン

• RQ1 LightGlue は、難易度の異なる範囲での疎特徴マッチングにおいて、推論時間を削減しつつ精度を維持または向上させることができるか？
• RQ2 相対位置エンコーディング、双方向注意、マッチ可 signaling、早期退出といったアーキテクチャの選択は、精度・速度・訓練安定性にどのような影響を与えるか？
• RQ3 実世界の屋外・室内データセットにおいて、適応的な深さ/幅剪定はマッチング品質を犠牲にすることなく実用的な速度向上を提供するか？
• RQ4 LightGlue は SuperGlue や密マッチャーとどう比較されるか、ホモグラフィ推定、相対姿勢、視覚的位置推定などの下流タスクで？
• RQ5 マッチ可と類似性を切り離すことは、訓練ダイナミクスと最終性能に有益か？

主な発見

• LightGlue は、従来の疎マッチャー（特に SuperGlue）よりも推論を速く、評価タスク全体で競合するかそれ以上の精度を達成する。
• 信頼度に基づく適応的な深さ/幅剪定と早期退出は、特に易しい画像ペアでの実行時間を大幅に削減しつつ、精度を維持する。
• 双方向クロスアテンションと相対的な2D ロータリーポジショニングエンコーディングは、効率と精度を向上させ、全双方向アテンションは精度低下なしでスピードを改善する。
• 類似性とマッチ可を分離すると勾配が澄んだものになり、層ごとの対応の予測を高速化し、コストの高い Sinkhorn 反復を回避できる。
• ホモグラフィでは、LightGlue は高精度と競争力のある再現率を提供し、軽量ソルバーによる正確なホモグラフィ推定を実現します。相対姿勢では、いくつかのベースラインより高い姿勢精度と高速推論を達成します。屋外ローカライズでは、SuperGlue の精度に匹敵しつつスループットを大幅に向上させます（最適化でさらに向上）。
• 訓練の利点として、合成ホモグラフィで事前訓練し MegaDepth でファインチューニングした場合、SuperGlue より収束が速く、リコール/適合のトレードオフが改善される。