[論文レビュー] Visual Correspondence Hallucination

Hugo Germain, Vincent Lepetit+1 more|arXiv (Cornell University)|Jun 17, 2021

Advanced Vision and Imaging被引用数 5

ひとこと要約

この論文は、視認不可領域や視野外領域であっても、キーポoinの一致を「幻覚化」する深層学習手法NeurHalを紹介する。視覚的対応関係を出力するネットワークに、真の対応点の周囲に鋭い確率分布を生成させるように訓練することで、NeurHalは未学習のシーンに一般化でき、最新の局所特徴マッチング手法と比較して、絶対的カメラポーズ推定のロバスト性を著しく向上させる。

ABSTRACT

Given a pair of partially overlapping source and target images and a keypoint in the source image, the keypoint's correspondent in the target image can be either visible, occluded or outside the field of view. Local feature matching methods are only able to identify the correspondent's location when it is visible, while humans can also hallucinate its location when it is occluded or outside the field of view through geometric reasoning. In this paper, we bridge this gap by training a network to output a peaked probability distribution over the correspondent's location, regardless of this correspondent being visible, occluded, or outside the field of view. We experimentally demonstrate that this network is indeed able to hallucinate correspondences on pairs of images captured in scenes that were not seen at training-time. We also apply this network to an absolute camera pose estimation problem and find it is significantly more robust than state-of-the-art local feature matching-based competitors.

研究の動機と目的

• キーポイントがターゲット画像に直接見えない状況でも、ニューラルネットワークが視覚的対応関係を学習し予測できるかどうかを調査すること。
• 人間の幾何的推論に類似した能力と、非可視領域で失敗する現在の局所特徴マッチング手法とのギャップを埋めること。
• 対応関係の幻覚化が、絶対的カメラポーズ推定の性能向上に寄与するかどうかを評価すること。
• 標準的な対応関係マッチングではなく、幻覚化に特化した損失関数とネットワークアーキテクチャを設計すること。
• トレーニング中に見なかった新しいシーンへの一般化を実証すること。

提案手法

• 本手法NeurHalは、部分的に重複するソース画像とターゲット画像のペア、およびソース画像内のキーポイントの集合を入力とする。
• 各キーポイントの対応点の位置について、ターゲット画像平面全体にわたる確率分布を出力し、可視領域、遮蔽領域、視野外領域のすべてのケースをモデル化する。
• 真の対応点の位置を中心に鋭い分布を生成させるように、新たな損失関数を用いてネットワークを訓練する。可視性にかかわらず、真の位置に集中する分布を促進する。
• 幾何的推論を通じて、遮蔽領域（インpainting）と視野外領域（アウトpainting）の両方の状況を処理できるようにアーキテクチャを設計する。
• トレーニングには、ScanNet や MegaDepth を含む合成および現実世界のシーンデータを用い、ゼロショット一般化を可能にする。
• 訓練分布とネットワークのインダクティブバイアスを通じて、幾何的事前知識を暗黙的に活用する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、遮蔽されたり視野外の領域の視覚的対応関係を幻覚化できるか？
• RQ2 トレーニング時に見なかったシーンに一般化する際、対応関係の幻覚化は実現可能で効果的か？
• RQ3 標準的な特徴マッチングと比較して、対応関係の幻覚化は絶対的カメラポーズ推定のロバスト性を向上させるか？
• RQ4 標準的なマッチングではなく幻覚化を可能にするために、どのようなアーキテクチャ的・損失関数的設計が不可欠か？
• RQ5 失敗事例は、視覚的曖昧さ、極めて低い重複度、または強いカメラ回転とどのように関連しているか？

主な発見

• NeurHalは、トレーニングデータとは異なるScanNet や MegaDepth の未学習シーンに対しても、対応関係を効果的に幻覚化できる。
• 遮蔽されたり視野外の対応点であっても、真の対応点の周囲に鋭い確率分布を生成する。
• 絶対的カメラポーズ推定において、NeurHalは最新の局所特徴マッチング手法を上回り、特に重複度が低い画像ペアにおいて顕著な性能向上を示す。
• 失敗事例は主に極めて低い視覚的重複度、強いカメラ回転、および高い視覚的曖昧さと関連している。
• 屋内（NYU）および屋外（ETH3D）の両環境でロバスト性を示し、多様なシーンタイプにわたり一貫した性能を発揮する。
• 定性的な結果から、NeurHalは遮蔽領域の補完（インpainting）と視野外領域の拡張（アウトpainting）の両方を効果的に行い、困難なケースでも正確な局所化が可能であることが示された。