[論文レビュー] ReF -- Rotation Equivariant Features for Local Feature Matching

Abhishek Peri, Kinal Mehta+4 more|arXiv (Cornell University)|Mar 10, 2022

Robotics and Sensor-Based Localization被引用数 6

ひとこと要約

本論文は、回転等長性を有する特徴ネットワーク ReF を提案する。この手法は、回転に依存する特徴を生成し、群平均化することで回転不変なローカルマッチングを実現する。ReF をデータオーグメンテーションで訓練された RoRD とアンサンブル化することで、回転変動が大きい状況下でも、HPatches および視覚的場所認識のための新規データセット UrbanScenes3D-Air において、最先端の性能を達成した。

ABSTRACT

Sparse local feature matching is pivotal for many computer vision and robotics tasks. To improve their invariance to challenging appearance conditions and viewing angles, and hence their usefulness, existing learning-based methods have primarily focused on data augmentation-based training. In this work, we propose an alternative, complementary approach that centers on inducing bias in the model architecture itself to generate `rotation-specific' features using Steerable E2-CNNs, that are then group-pooled to achieve rotation-invariant local features. We demonstrate that this high performance, rotation-specific coverage from the steerable CNNs can be expanded to all rotation angles by combining it with augmentation-trained standard CNNs which have broader coverage but are often inaccurate, thus creating a state-of-the-art rotation-robust local feature matcher. We benchmark our proposed methods against existing techniques on HPatches and a newly proposed UrbanScenes3D-Air dataset for visual place recognition. Furthermore, we present a detailed analysis of the performance effects of ensembling, robust estimation, network architecture variations, and the use of rotation priors.

研究の動機と目的

• データオーグメンテーションに依存するのではなく、モデルアーキテクチャに直接回転等長性を埋め込むことで、ローカル特徴マッチングにおける回転耐性を向上させること。
• 標準的な CNN が極端な視点変化に対処できないという限界を、特徴マップ内の回転構造を保持する可動性 CNN を活用することで克服すること。
• ReF が生成する高精度な回転特徴と、オーグメンテーションで訓練された RoRD が得る広範な回転カバレッジを組み合わせることで、全回転角度におけるカバレッジと精度を向上させること。
• ドローンビューで多方向の回転が生じる状況下での視覚的場所認識の評価を目的とした、新規ベンチマークデータセット UrbanScenes3D-Air を導入すること。
• アンサンブル、頑健推定（RANSAC）、ネットワークアーキテクチャの選択、回転事前知識の影響が、回転耐性のある特徴マッチング性能に与える影響を分析すること。

提案手法

• ReF ネットワークは、離散的回転（C8 群）に対して等長性を示す可動性 E2-CNN を用い、特定の角度で正確な特徴応答を得られる特徴表現を学習する。
• 可動性特徴マップを回転チャネル全体にわたって群平均化することで、回転不変な記述子を取得し、画像の回転に関係なく一貫したマッチングを実現する。
• アンサンブル戦略により、ReF の高精度で回転に依存する特徴と、オーグメンテーションで訓練された RoRD の広範な回転カバレッジを統合し、全体の耐久性を向上させる。
• キーポイント検出と記述子学習に自己教師付き損失を用いてモデルを訓練し、最終的な記述子はコサイン類似度を用いてマッチングに利用する。
• 除去実験では、群平均化後に標準 CNN 層を挿入した場合、等長性が破壊され性能が低下することが示された。
• 最適な回転分解能を得るため、C4、C8、C16 といった異なる巡回群を評価し、性能と計算コストのバランスを考慮して C8 を採用した。

実験結果

リサーチクエスチョン

• RQ1 可動性 CNN を用いたアーキテクチャ的バイアスが、データオーグメンテーションのみに依存する手法と比較して、回転耐性のあるローカル特徴マッチングに効果をもたらすか？
• RQ2 回転事前知識が利用可能な状況下で、ReF の群平均化を行わない特徴（unpooled ReF features）は、90° の倍数でない角度（特に 45° および 135°）でどのように性能を示すか？
• RQ3 ReF を RoRD とアンサンブル化することで、個別のモデルと比較して、全回転角度におけるカバレッジと精度がどの程度向上するか？
• RQ4 群平均化の後に標準 CNN 層を追加すると、ReF の等長性とマッチング性能にどのような影響を与えるか？
• RQ5 C4、C8、C16 といった異なる巡回群の選択が、可動性特徴表現の性能と一般化能力に与える影響は何か？

主な発見

• ReF は、回転変動が大きい状況下でも HPatches で最先端の性能を達成し、特に 90° および 180° で SIFT や SuperPoint、R2D2 と比較してマッチング精度が顕著に向上した。
• ReF + RoRD アンサンブルは、新規の UrbanScenes3D-Air データセットにおいて、すべての回転角度ですべてのベースラインを上回った。特に 45° および 135° では、個別のモデルが失敗する状況でも高い再現率を達成した。
• 回転事前知識が利用可能な場合、群平均化を行わない ReF 特徴（unpooled ReF features）は 45° および 135° で優れた性能を示し、方位が既知の状況では回転に依存する特徴がより高精度であることを示した。
• 群平均化の後に標準 CNN 層を追加すると、等長性の性質が完全に消失し、全角度で性能が均一化される。これは、不変性を確保するためには群平均化出力を保持する必要があることを裏付けた。
• 巡回群（C4、C8、C16）の選択は性能にほとんど影響を及ぼさないが、C8 が回転分解能と計算コストのバランスにおいて最良の妥協点を提供し、45° および 135° でも正確な応答を可能にした。
• RANSAC はノイズの多い初期マッチングをフィルタリングすることでマッチング品質を著しく向上させた。ReF を用いたパイプラインは、特に高回転状況下でも、SOTA 手法と比較してはるかにクリアで正確な対応点セットを示した。