[論文レビュー] ALIKED: A Lighter Keypoint and Descriptor Extraction Network via Deformable Transformation

Xiaoming Zhao, Xingming Wu+4 more|arXiv (Cornell University)|Apr 7, 2023

Advanced Image and Video Retrieval Techniques被引用数 7

ひとこと要約

ALIKED は Sparse Deformable Descriptor Head (SDDH) を導入し、検出されたキーポイントで変形可能かつスパースなデスクリプタを抽出することで、マッチング、3D 再構成、リロケーションのための軽量で幾何学的に不変なローカル特徴パイプラインを実現する。

ABSTRACT

Image keypoints and descriptors play a crucial role in many visual measurement tasks. In recent years, deep neural networks have been widely used to improve the performance of keypoint and descriptor extraction. However, the conventional convolution operations do not provide the geometric invariance required for the descriptor. To address this issue, we propose the Sparse Deformable Descriptor Head (SDDH), which learns the deformable positions of supporting features for each keypoint and constructs deformable descriptors. Furthermore, SDDH extracts descriptors at sparse keypoints instead of a dense descriptor map, which enables efficient extraction of descriptors with strong expressiveness. In addition, we relax the neural reprojection error (NRE) loss from dense to sparse to train the extracted sparse descriptors. Experimental results show that the proposed network is both efficient and powerful in various visual measurement tasks, including image matching, 3D reconstruction, and visual relocalization.

研究の動機と目的

• 最先端のキーポイント-デスクリプタ網における密なデスクリプタマップの非効率性に対処する。
• 一般的な几何変換をモデル化するスパースな変形可能デスクリプタ抽出モジュール（SDDH）を開発する。
• SDDH を軽量バックボーンと組み合わせて ALIKED を構築し、視覚測定を効率化する。
• 密な NRE（ Neural Reprojection Loss ）をスパース化してスパースデスクリプタを訓練する。
• ALIKED の画像マッチング、3D 再構成、視覚リロケーションでの有効性を示す。

提案手法

• 検出されたキーポイントのみに対して変形可能なデスクリプタを抽出する Sparse Deformable Descriptor Head (SDDH) を提案する。
• キーポイントの周囲の各ピクセルにオフセットを持つ変形可能変換として幾何変換をモデル化する。
• 局所パッチから M 個の変形可能サンプル位置を推定し、デスクリプタ構築のためのサポート特徴をサンプリングする。
• 明示的な非線形性と 1×1 畳み込みを用いた重み付き和としてデスクリプタを構築する。
• 密なデスクリプタマップをスパースデスクリプタサンプリングに置換して計算量を削減する。
• 密なデスクリプタマップと比較してスパース再投影確率とスパースデスクリタ類似度を比較することで、NRE ロスを密からスパースへ緩和する。

実験結果

リサーチクエスチョン

• RQ1 キーポイントでの変形可能かつスパースなデスクリプタ抽出は、計算量を削減しつつ競争力のあるマッチング性能を達成できるか。
• RQ2 SDDH はローカル特徴に対してアフィン不変性を超える頑健なジオメトリ処理を可能にするか。
• RQ3 ALIKED は密なマップ法と比較して画像マッチング、3D 再構成、視覚リロケーションでどのような性能を示すか。
• RQ4 スパース NRE ロスの訓練は、密なデスクリプタマップなしで効果的なキーポイント再投影訓練を維持できるか。

主な発見

• SDDH はキーポイントでのデータ変形を意識したデスクリプタ抽出を効率的に可能にし、密なデスクリプタマップに比べて冗長な計算を大幅に削減する。
• ALIKED は SD DH を軽量なエンコーディングバックボーンと組み合わせ、視覚測定タスクに競争力のある性能を発揮する。
• このアプローチは、固定グリッドではなく変形可能サンプル位置を用いることでアフィン変換を超える幾何学的不変性を保つ。
• スパースなニューラル再投影誤差（NRE）ロスを効果的に定式化し、スパースデスクリプタを用いた訓練を可能にする。
• 実験結果は、ALIKED が画像マッチング、3D 再構成、視覚リロケーションに有効であることを示す。