[論文レビュー] A Large Dataset for Improving Patch Matching

Rahul Mitra, Nehal Doiphode+5 more|arXiv (Cornell University)|Jan 4, 2018

Advanced Image and Video Retrieval Techniques参考文献 14被引用数 13

ひとこと要約

本論文は、CNNベースの局所的画像記述子を学習するための大規模で多様なデータセット—PS（Patch Sampling）—を導入し、パッチマッチング性能を顕著に向上させた。実世界の視点、スケール、照明の変化を広範に活用し、カメラパラメータやパッチメタデータを併用することで、著者らはPS上で最先端のHardnetモデルを学習し、HPatchesでは8–10%、Strechaでは3–5%の向上を達成した。特に、困難なワイドベースライン状況において顕著な改善が見られた。

ABSTRACT

We propose a new dataset for learning local image descriptors which can be used for significantly improved patch matching. Our proposed dataset consists of an order of magnitude more number of scenes, images, and positive and negative correspondences compared to the currently available Multi-View Stereo (MVS) dataset from Brown et al. The new dataset also has better coverage of the overall viewpoint, scale, and lighting changes in comparison to the MVS dataset. Our dataset also provides supplementary information like RGB patches with scale and rotations values, and intrinsic and extrinsic camera parameters which as shown later can be used to customize training data as per application. We train an existing state-of-the-art model on our dataset and evaluate on publicly available benchmarks such as HPatches dataset and Strecha et al.\cite{strecha} to quantify the image descriptor performance. Experimental evaluations show that the descriptors trained using our proposed dataset outperform the current state-of-the-art descriptors trained on MVS by 8%, 4% and 10% on matching, verification and retrieval tasks respectively on the HPatches dataset. Similarly on the Strecha dataset, we see an improvement of 3-5% for the matching task in non-planar scenes.

研究の動機と目的

• MVSのような既存のデータセットは、小規模で多様性に欠け、視点、スケール、照明の実世界の変化が不足しているという限界を是正すること。
• RGBパッチ、スケール、回転、カメラパラメータなどの豊富なメタデータを備えた大規模で多様なデータセットを構築し、CNNベースの局所的記述子の学習をより良くすること。
• 3D再構築、ワイドベースラインマッチング、画像検索などの実世界応用に適した、一般化性能とロバスト性に優れた記述子の学習を向上させること。
• 局所的記述子学習における最先端性能を達成するには、モデルアーキテクチャーやトレーニング戦略と同様に、データセットの質が極めて重要であることを示すこと。

提案手法

• MVSデータセットよりも10倍以上のシーン、画像、正例／負例対を含む、新しいデータセットPSを提案。視点、スケール、照明変化のカバレッジを強化した。
• 詳細なメタデータを含む：各シーンのすべての画像に対して、位置、スケール、回転値を有するRGBパッチ、および内部パラメータ／外部パラメータを併記。
• 視点とスケールの変動を最大化しつつ、文脈の多様性を保ちながら、多様で重複のないパッチペアを生成するための新しいサンプリング戦略を設計。
• [15]と同一のトレーニングプロトコルを用いて、PSデータセット上で既存の最先端のHardnetモデルを学習。公平な比較を保証。
• PSデータセットを活用し、スケールや視点の変化を制御することで、狭い・広いベースラインマッチングなどの特定のタスクに最適化されたトレーニングデータをカスタマイズ可能。
• 公的ベンチマーク（HPatches：マッチング、検証、リtrieval用、Strecha：ワイドベースラインマッチング用）でモデルを評価。mAPや正答率などの標準指標を用いた。

実験結果

リサーチクエスチョン

• RQ1 豊富な幾何的・光度的メタデータを備えた、より大規模で多様なデータセットは、CNNベースの局所的画像記述子の性能を顕著に向上させ得るか？
• RQ2 視点、スケール、照明の実世界の変化をよりよくカバーするデータセットで学習することで、困難なベンチマークでの一般化性能が向上するか？
• RQ3 既存のデータセットと比較して、提案されたデータセットは、困難な状況（特に非常に広いベースライン）における性能低下をどの程度軽減するか？
• RQ4 カメラパラメータやパッチメタデータの組み込みにより、特定のマッチングタスクに最適化されたトレーニングデータの制御とカスタマイズが可能になるか？

主な発見

• PSデータセットで学習したモデル（Hardnet-PS）は、HPatchesベンチマークにおいて、マッチングタスクで現在の最先端のHardnet+より8%、検証で4.4%、リtrievalで10%の向上を達成した。
• HPatchesの「Tough」シーンでは、Hardnet-PSが検証タスクでHardnet+より10%の向上を示し、極端な変化に強いロバスト性を示した。
• Strechaベンチマークでは、Fountain-P11の「Very-Wide」カテゴリでmAPが5%向上、HerzJesu-P8の「Wide」カテゴリで3.5%向上し、極端なベースラインマッチングにおいて優れた性能を示した。
• Hardnet-PSとHardnet+の性能差は、困難なシーン（HPatchesの「Hard」と「Tough」、Strechaの「Wide」と「Very-Wide」）で顕著に拡大しており、変動が激しい状況下でのデータセットの有効性を裏付けた。
• 定性的な結果から、Hardnet-PSは、視点変化が大きな複雑なシーンにおいても、ワイドベースライン画像ペアでより正確なマッチングを生成することが分かった。
• 最先端のモデルアーキテクチャーやトレーニング戦略を用いても、高品質で多様なトレーニングデータが、ロバストで一般化可能な記述子を達成するために極めて重要であることが結果から裏付けられた。