[論文レビュー] RF-Net: An End-to-End Image Matching Network based on Receptive Field

Xuelun Shen, Cheng Wang+6 more|arXiv (Cornell University)|Jun 3, 2019

Advanced Image and Video Retrieval Techniques参考文献 33被引用数 6

ひとこと要約

本稿では、受容 field に基づく応答マップを用いてキーポイント検出を向上させ、新しい隣接マスク損失項を導入して記述子学習を改善する、エンドツーエンドで学習可能な画像マッチングネットワーク RF-Net を提案する。本手法は、HPatches および EF Dataset ベンチマークで最先端の性能を達成し、従来手法に比べてマッチング精度で最大 35% の相対的向上を達成した。

ABSTRACT

This paper proposes a new end-to-end trainable matching network based on receptive field, RF-Net, to compute sparse correspondence between images. Building end-to-end trainable matching framework is desirable and challenging. The very recent approach, LF-Net, successfully embeds the entire feature extraction pipeline into a jointly trainable pipeline, and produces the state-of-the-art matching results. This paper introduces two modifications to the structure of LF-Net. First, we propose to construct receptive feature maps, which lead to more effective keypoint detection. Second, we introduce a general loss function term, neighbor mask, to facilitate training patch selection. This results in improved stability in descriptor training. We trained RF-Net on the open dataset HPatches, and compared it with other methods on multiple benchmark datasets. Experiments show that RF-Net outperforms existing state-of-the-art methods.

研究の動機と目的

• キーポイント検出と特徴記述子学習を統合的に最適化するエンドツーエンドで学習可能な画像マッチングパイプラインの開発。
• 個別に最適化されたコンponentによる性能低下を回避するため、頑健な検出器と記述子を同時に学習する課題に対処する。
• 抽象的な特徴マップの代わりに、増大する受容 field を持つ特徴マップに基づいて応答マップを構築することで、キーポイント検出を向上させる。
• 周辺キーポイントをマスクすることで、パッチサンプリング中の曖昧性を低減する隣接マスク損失項を導入し、記述子学習の安定化を図る。
• 手作業で設計されたコンponent や事前学習済み検出器に依存せずに、最先端のマッチング性能を達成する。

提案手法

• 受容 field が段階的に拡大する特徴マップを用いて応答マップを構築する受容 field に基づく検出器 (RF-Det) を提案し、キーポイントの局所化を向上させる。
• 共有重みを有するシアンセスネットワークアーキテクチャを採用し、画像ペアを処理してネットワーク全体をエンドツーエンドで同時に学習する。
• パッチサンプリング中に近隣のキーポイントをマスクすることで、誤って負例が生成されるのを防ぐために、隣接マスク損失項を導入する。
• 2段階の訓練スケジュールを採用：各イテレーションで記述子を2回、検出器を1回学習することで、記述子の品質と検出器の一般化性能を向上させる。
• 畳み込み層を用いて、段階的に増大するカーネルサイズとストライドを用いて、各応答マップの受容 field を体系的に拡大する。
• テストセットにおけるマッチング性能の評価に、0.7 の閾値を用いた最近傍距離比マッチング戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 受容 field に基づく応答マップは、エンドツーエンドマッチングネットワークにおけるキーポイント検出性能を向上させることができるか？
• RQ2 隣接マスク損失項は、ラベルの曖昧性を低減させ、記述子学習中の一般化性能を向上させるか？
• RQ3 手作業で設計された検出器に依存せずに、エンドツーエンドで学習可能なネットワークが、既存の最先端手法を上回る性能を達成できるか？
• RQ4 応答レイヤーの数が、受容 field に基づく検出器の性能に与える影響は何か？
• RQ5 エンドツーエンドフレームワークにおいて、記述子の品質が検出器学習に及ぼす影響の程度はどの程度か？

主な発見

• RF-Net は、HPatches-10 シーケンスにおいて、最も近い競合手法に比べて 35% の相対的向上を示し、新たな最先端性能を確立した。
• RF-Det 検出器は、3つの HPatches シーケンスにおいて、それぞれ 11%、20%、35% の相対的向上を達成し、次に優れた手法を上回った。
• 隣接マスク損失項は、記述子の頑健性を顕著に向上させ、アブレーションスタディでは、その導入により顕著な性能向上が確認された。
• RF-Net 検出器は、すべてのシーケンスで LF-Net よりも高い再現性を達成し、受容 field の設計の有効性を示した。
• 定性的な結果では、SIFT や FAST+Hard-Net、LF-Net と比較して、RF-Net は正しいマッチング（緑線）を多く生成し、誤ったマッチング（赤線）を少なくした。
• RF-Net の性能は N=8 の応答レイヤーで飽和し、N=3 以降から一貫して LF-Net と性能差が開き、N が増加するにつれてその差が拡大した。