[論文レビュー] Extracting Deformation-Aware Local Features by Learning to Deform

Guilherme Potje, Renato Martins+2 more|arXiv (Cornell University)|Nov 20, 2021

3D Surveying and Cultural Heritage参考文献 49被引用数 4

ひとこと要約

本稿では、空間変換器と極座標サンプリングを用いて空間のねじれと特徴抽出を同時に学習することで、非剛性変形、回転、スケールに対して不変性を達成する変形に注意を払った局所特徴記述子であるDEALを提案する。模擬等長変形を用いたエンド・トゥ・エンドの訓練により、実世界および合成の可変物体ベンチマークにおいて、最先端の手作業特徴記述子および学習ベース特徴記述子を上回る性能を達成する。

ABSTRACT

Despite the advances in extracting local features achieved by handcrafted and learning-based descriptors, they are still limited by the lack of invariance to non-rigid transformations. In this paper, we present a new approach to compute features from still images that are robust to non-rigid deformations to circumvent the problem of matching deformable surfaces and objects. Our deformation-aware local descriptor, named DEAL, leverages a polar sampling and a spatial transformer warping to provide invariance to rotation, scale, and image deformations. We train the model architecture end-to-end by applying isometric non-rigid deformations to objects in a simulated environment as guidance to provide highly discriminative local features. The experiments show that our method outperforms state-of-the-art handcrafted, learning-based image, and RGB-D descriptors in different datasets with both real and realistic synthetic deformable objects in still images. The source code and trained model of the descriptor are publicly available at https://www.verlab.dcc.ufmg.br/descriptors/neurips2021.

研究の動機と目的

• 現実世界のシーンにおける非剛性変形に対して不変性を欠いている既存の局所特徴記述子の欠如を解決する。
• 深度データを必要とせず、RGB画像のみを用いて頑健で変形に注意を払った特徴を抽出する手法を開発する。
• エンド・トゥ・エンドの訓練中に文脈的な変形情報を学習することで、可変物体におけるマッチング性能を向上させる。
• 静止RGB画像のみを用いても、RGB-Dベースの最先端特徴記述子と同等の効率性と識別力を持つことを達成する。
• オブジェクト検索や非剛性トラッキングなどの実世界応用における有効性を実証する。

提案手法

• 変形ガイドのための空間変換器ベースのワープブランチと特徴抽出ブランチを備えた二重ブランチネットワークアーキテクチャを採用する。
• ネットワークが変形不変特徴を学習できるように、模擬的な等長非剛性変形を用いてトレーニングデータを生成する。
• 回転およびスケール不変性を達成するために、ワープされた特徴マップに対して極座標サンプリングを適用する。
• 変形下での対応マッチングを最適化するために、コントラスト損失を用いてネットワーク全体をエンド・トゥ・エンドで訓練する。
• 空間変換器を活用して、特徴抽出の前に局所パッチを整列させる変形フィールドを予測する。
• 正例および負例のキーポイントペアを用いたシアンペル型のトレーニング設定により、識別性の高い記述子を学習する。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースの局所特徴記述子は、深度監視なしにRGB画像のみを用いて非剛性変形に対して不変性を達成できるか？
• RQ2 模擬変形を用いたエンド・トゥ・エンドの訓練は、従来の特徴記述子と比較して、特徴マッチングの頑健性をどのように向上させるか？
• RQ3 1枚のRGB画像に基づく記述子は、非剛性状況下でRGB-Dベースの最先端特徴記述子の性能にどの程度まで近づけるか？
• RQ4 本手法のアーキテクチャは、実際の可変物体データセットにおける既存の学習ベースおよび手作業特徴記述子と比較して、効率性と正確性の面でどのように差をつけるか？
• RQ5 学習された変形に注意を払った特徴は、オブジェクト検索や非剛性トラッキングなどの実世界応用に一般化可能か？

主な発見

• DEALは、評価されたすべての手作業特徴記述子および学習ベース特徴記述子（GeoBit や DaLI など最先端手法を含む）を非剛性オブジェクトマッチングベンチマークで上回る。
• 非剛性シーケンスを含むHPatchesデータセットでは、DEALはRANSACインライヤーで0.46のマッチングスコアを達成し、DaLI（0.32）を上回り、GeoBit（0.46）と同等の性能を示したが、RGBデータのみを用いた点で優位性を示した。
• K ≤ 10のオブジェクト検索において、DEALは最高の検索精度を達成し、最先端のDELF記述子でさえも上回った。
• 非剛性トラッキングタスクでは、DEALはLPIPSスコア0.24およびRANSACインライヤー0.46を達成し、GeoBitを含む最良の手法と同等の性能を示したが、DaLI や Log-Polar を上回った。
• 定性的な結果から、DEALは極端な変形や視点変化に対しても安定した対応マッチングを維持しているのに対し、DaLI などの競合手法は同様の条件下で失敗することが明らかになった。
• ソースコードおよびトレーニング済みモデルは https://www.verlab.dcc.ufmg.br/descriptors/neurips2021 で公開されており、再現性およびさらなる研究を可能としている。