[論文レビュー] A case for using rotation invariant features in state of the art feature matchers

Georg Bökman, Fredrik Kahl|arXiv (Cornell University)|Apr 21, 2022

Robotics and Sensor-Based Localization被引用数 7

ひとこと要約

この論文は、最先端のLoFTR特徴マッチャにおける標準的なCNNバックボーンを、回転に対して等長性を示すように設計された回転可能CNN（steerable CNN）に置き換えることで、回転した画像に対する頑健性が著しく向上することを示している。性能は通常の回転なし画像ペアにおいても劣化しない。主な貢献は、計算コストを最小限に抑えつつ、一貫した性能向上を達成する、単純で効果的な変更である。

ABSTRACT

The aim of this paper is to demonstrate that a state of the art feature matcher (LoFTR) can be made more robust to rotations by simply replacing the backbone CNN with a steerable CNN which is equivariant to translations and image rotations. It is experimentally shown that this boost is obtained without reducing performance on ordinary illumination and viewpoint matching sequences.

研究の動機と目的

• 回転不変特徴が最先端の学習ベース特徴マッチャのマッチング頑健性を向上させるかを調査すること。
• 標準CNNを回転および平行移動に対して等長性を示す回転可能CNNに置き換えた場合の特徴マッチング性能への影響を評価すること。
• 標準画像マッチングベンチマークにおける性能を犠牲にせずに、回転不変性を達成できるかを特定すること。
• 回転不変特徴が純粋な回転を超えて、他の幾何的歪みに対しても一般化できるかを評価すること。
• End-to-end学習ベースマッチングパイプライン（例：LoFTR）への回転可能CNNの統合の可能性と有効性を調査すること。

提案手法

• LoFTRにおける標準CNNバックボーンを、平行移動および画像回転に対して等長性を示す回転可能CNNに置き換え、回転不変特徴抽出を可能にする。
• 4重対称性および8重対称性を持つ3種類の回転可能CNNのバリエーション（SE2-LoFTR-4、SE2-LoFTR-4⋆、SE2-LoFTR-8⋆）を実装し、不変性特性をテストする。
• HPatchesおよびその幾何変換バリエーション（回転したHPatches-r、歪みのあるHPatches-h0.3、視点変化シーケンス）上で、変更されたLoFTRモデルを訓練および評価する。
• Corner Error AUCおよび3px、5px、10pxの閾値におけるマッチング精度（MMA）といった標準評価指標を用い、複数のデータセット間での性能を比較する。
• E(2)対称性に基づく表現理論を用い、e2cnnライブラリを活用して群等長畳み込みを実装し、等長性に関する理論的保証を確保する。
• 複数のモデルチェックポイントを用いたアブレーションスタディを実施し、トレーニングのばらつきを評価し、結果の頑健性を確認する。

実験結果

リサーチクエスチョン

• RQ1 LoFTRにおける標準CNNを回転可能CNNに置き換えることで、通常の画像ペアの性能を損なわず、回転した画像に対する頑健性が向上するか？
• RQ2 回転不変特徴の使用が、単純な回転を超えた多様な幾何的変形に対しても一貫した性能向上をもたらすか？
• RQ3 回転可能CNNによる性能向上が、不変性特性に起因するものか、それとも他の要因（例：特徴表現の向上）に起因するものか？
• RQ4 回転対称性の選択（例：4重対称性 vs. 8重対称性）が、回転画像シーケンスにおけるマッチング性能に与える影響は？
• RQ5 LoFTRのようなエンドツーエンド学習ベースマッチングパイプラインへの回転可能CNNの統合が、計算コストを最小限に抑えつつ可能で、パイプライン全体の整合性を損なわないか？

主な発見

• SE2-LoFTR-8⋆モデルは、HPatches-r45でベースラインLoFTRを上回り、3px、5px、10pxの閾値でそれぞれ94.1、94.1、94.0のCorner Error AUCを達成し、強い回転不変性を示している。
• SE2の全バリエーションが、視点変化を伴うHPatchesシーケンスにおいて一貫してベースラインを上回り、幾何的変化への一般化能力の向上を示している。
• SE2-LoFTR-4⋆モデルは、HPatches-rで3pxでのCorner Error AUCが94.3を達成し、4重対称性でもベースラインを大幅に上回っている。
• 標準のHPatchesベンチマークにおいて、SE2-LoFTR-4⋆モデルは3pxでのCorner Error AUCが94.5を達成しており、回転なし画像においても性能劣化がないことを示している。
• SE2-LoFTR-8⋆モデルは、HPatches-r45で10pxでのマッチング精度が97.3%に達し、同じ指標でベースラインLoFTRの96.1%を顕著に上回っている。
• 5つの上位バリデーションチェックポイント間でのテストスコアのばらつきは非常に小さく、すべての指標で1%未満の差異にとどまり、安定的で信頼性の高い性能であることが示された。