[論文レビュー] D2D: Learning to find good correspondences for image matching and manipulation

Olivia Wiles, Sébastien Ehrhardt+1 more|arXiv (Cornell University)|Jul 16, 2020

Advanced Vision and Imaging被引用数 16

ひとこと要約

本論文では、照明、視点、素材の変化といった困難な条件下でも、高品質な対応関係を特定できるように、画像と特徴の独自性スコアの両方に条件付けられたコンテキストに配慮した特徴を学習する、密なもの同士の一致フレームワークD2Dを提案する。特徴表現と一致信頼度を同時に最適化することで、局所的一致、カメラ局所化、3D再構築、画像スタイル化の各タスクで最先端または競争力のある性能を達成する。

ABSTRACT

We propose a new approach to determining correspondences between image pairs under large changes in illumination, viewpoint, context, and material. While most approaches seek to extract a set of reliably detectable regions in each image which are then compared (sparse-to-sparse) using increasingly complicated or specialized pipelines, we propose a simple approach for matching all points between the images (dense-to-dense) and subsequently selecting the best matches. The two key parts of our approach are: (i) to condition the learned features on both images, and (ii) to learn a distinctiveness score which is used to choose the best matches at test time. We demonstrate that our model can be used to achieve state of the art or competitive results on a wide range of tasks: local matching, camera localization, 3D reconstruction, and image stylization.

研究の動機と目的

• 照明、視点、文脈、素材の大きな変化がある状況下でも、画像ペア間の信頼できる対応関係を特定する課題に対処すること。
• 従来のスパarsely-to-sparseな手法が、信頼性の低いキーポoint検出に起因して困難な状況で性能を発揮できない問題を改善すること。
• 3D再構築や画像スタイル化を含む多様なビジョンタスクに優れた性能を発揮する統合フレームワークを構築すること。
• テスト時における最も信頼性の高い対応関係の選択を可能にする、学習可能な独自性スコアを導入すること。
• 両方の画像に条件付けられ、独自性スコアで評価された密な特徴一致が、最先端のスパarsely-to-sparseな手法を上回るか同等の性能を発揮することを示すこと。

提案手法

• 本手法は、入力画像の両方に条件付けられた特徴を学習することで、特徴抽出時に画像間のコンテキスト認識を可能にする。
• 深層ニューラルネットワークを用いて、両方の画像の情報を同時にエンコードする密な特徴マップを生成する。
• 各特徴点ごとに独自性スコアを学習し、各潜在的対応関係の信頼性を評価する。
• 推論時、学習された独自性スコアに基づき、最高スコアの対応関係のみを選択することで、誤検出を低減する。
• 正しい対応関係が誤ったものよりも高い独自性スコアを持つように促す損失関数を用いて、エンド・ツー・エンドでモデルを訓練する。
• 複数のベンチマークでモデルを訓練・評価することで、多様な下流タスクへのゼロショット転送が可能になる。

実験結果

リサーチクエスチョン

• RQ1 大規模な照明および視点の変化下でも、密なもの同士の一致アプローチがスパarsely-to-sparseな手法を上回るか？
• RQ2 学習可能な独自性スコアは、困難な画像ペアにおける信頼性の低い対応関係のフィルタリングにどの程度効果的か？
• RQ3 対応関係学習に特化して訓練された統合モデルは、3D再構築や画像スタイル化といった多様なビジョンタスクに一般化可能か？
• RQ4 両方の画像に特徴を条件付けたことで、単一画像特徴学習に比べて一致のロバスト性が向上するか？
• RQ5 標準ベンチマーク上での既存の最先端手法と比較して、本手法はどの程度の性能向上を達成するか？

主な発見

• 提案されたD2D手法は、HPatchesやMegaDepthを含む、局所的画像一致の複数のベンチマークで最先端の性能を達成した。
• ScanNetおよびTUM RGB-Dデータセットにおいて、特に照明や視点の変化が激しい状況下でも、カメラ局所化の精度が顕著に向上した。
• 本モデルは、構造のない画像コレクションからも高品質な3D再構築を可能にし、幾何学的正確性において先行手法を上回った。
• 画像スタイル化タスクでは、構造を保持したまま正確なスタイル転送を実現し、優れた一般化能力を示した。
• 独自性スコアは、曖昧または誤った対応関係を効果的にフィルタリングし、全体の一致信頼性を向上させた。
• タスク固有の微調整なしに多様なタスクにうまく一般化できることから、強力なゼロショット転送能力を示した。