[論文レビュー] Patch2Pix: Epipolar-Guided Pixel-Level Correspondences

Qunjie Zhou, Torsten Sattler+1 more|arXiv (Cornell University)|Dec 3, 2020

Advanced Image and Video Retrieval Techniques参考文献 44被引用数 8

ひとこと要約

Patch2Pixは、まずパッチレベルの一致候補を生成し、その後、相対カメラポーズからのエピポーラ幾何を用いて弱教師付きのリファインメントネットワークでそれらを正確で幾何的に一貫性のある一致に改善する、二段階の新規アプローチを提案する。この手法は、ピクセルレベルの正例を必要とせず、相対カメラポーズからのエピポーラ幾何を用いて学習することで、画像一致、ホモロジー推定、ビジュアルロケーションの分野で最先端の性能を達成する。

ABSTRACT

The classical matching pipeline used for visual localization typically involves three steps: (i) local feature detection and description, (ii) feature matching, and (iii) outlier rejection. Recently emerged correspondence networks propose to perform those steps inside a single network but suffer from low matching resolution due to the memory bottleneck. In this work, we propose a new perspective to estimate correspondences in a detect-to-refine manner, where we first predict patch-level match proposals and then refine them. We present Patch2Pix, a novel refinement network that refines match proposals by regressing pixel-level matches from the local regions defined by those proposals and jointly rejecting outlier matches with confidence scores. Patch2Pix is weakly supervised to learn correspondences that are consistent with the epipolar geometry of an input image pair. We show that our refinement network significantly improves the performance of correspondence networks on image matching, homography estimation, and localization tasks. In addition, we show that our learned refinement generalizes to fully-supervised methods without re-training, which leads us to state-of-the-art localization performance. The code is available at https://github.com/GrumpyZhou/patch2pix.

研究の動機と目的

• メモリ制約による低解像度の一致の課題に対処する。
• 疎な正例キーポイントに依存する完全教師あり手法が学習に偏りを生じさせるリスクを克服する。
• 相対カメラポーズのみを用いて、幾何的に一貫性のあるピクセルレベルの一致を学習する弱教師付き手法を開発する。
• 再トレーニングを伴わずに、既存の一致ネットワークの出力をリファインすることでその精度を向上させる。
• 弱教師ありおよび完全教師ありの両方の一致パイプラインに一般化可能であり、多様なロケーションタスクにおける性能を向上させる。

提案手法

• まず、ベースとなる一致ネットワーク（例：NCNet や SuperPoint+SuperGlue）を用いてパッチレベルの一致候補を生成する。
• エピポーラ幾何を監視信号として用いて、各候補領域内でのピクセルレベルの一致を回帰するリファインメントネットワークを訓練する。
• 各リファインされた一致に対して信頼度スコアを同時に予測し、外れ値を特定・除外する。
• 相対カメラポーズを用いてエピポーラ制約を計算し、ピクセルレベルの正例を必要としない弱教師付き学習を可能にする。
• 一致点同士の幾何的一致性を強制する微分可能損失関数を用いてリファインメントネットワークを最適化する。
• 既存の一致ネットワークの出力を向上させるためのポストプロセッシングモジュールとしてリファインメントネットワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの一致ネットワークと比較して、二段階の検出からリファインメントへのフレームワークがピクセルレベルの一致精度を向上させることができるか？
• RQ2 ピクセルレベルの正例を必要としない状況で、エピポーラ幾何を有効に弱教師付き監視として用いてリファインメントネットワークを学習できるか？
• RQ3 提案されたリファインメントネットワークは、弱教師ありおよび完全教師ありの両方の一致手法の性能向上に一般化可能か？
• RQ4 大きな視点変化やテクスチャが乏しいシーンといった困難な条件下でも、Patch2Pixはどの程度一致精度を向上させるか？
• RQ5 リファインメントネットワークは、ホモロジー推定やビジュアルロケーションといった下流タスクの性能向上に寄与できるか？

主な発見

• Patch2PixはInLocベンチマークで最先端の性能を達成し、SuperGlueベースの候補パイプラインを用いることで、0.25m以内の誤差で50.0%のクエリがロケーション可能であった。
• InLocのDUC1サブセットでは、SuperGlue候補を用いたPatch2Pixが0.25mの誤差で57.3%のロケーション精度を達成し、すべてのベースラインを上回った。
• DUC1セットにおいて、Patch2Pixは最良のベースライン（SuperPoint+SuperGlue）と比較して、最大7.5パーセンテージポイントの精度向上を達成した。
• Patch2Pixは完全教師あり手法にも一般化可能である：SuperPoint+SuperGlueに適用した場合、InLocにおける0.25m誤差での精度は49.0%から50.0%に向上した。
• Aachen Day-Nightデータセットでは、Patch2Pixは極端な照明変化や大きな視点変化に対しても成功裏に対処でき、高いインライアーマッチ比を示した。
• 可視化図において、特に空の壁や道路のような困難な領域で、緑色のインライアーマッチの割合が顕著に高くなっており、外れ値マッチが顕著に減少していることが裏付けられた。