[論文レビュー] UnsuperPoint: End-to-end Unsupervised Interest Point Detector and Descriptor

Peter Christiansen, Mikkel Fly Kragh+2 more|arXiv (Cornell University)|Jul 9, 2019

Advanced Image and Video Retrieval Techniques参考文献 47被引用数 73

ひとこと要約

UnsuperPoint は、疑似 ground truth なしで点のスコア、位置、および記述子を学習する、エンドツーエンドの自己教師あり検出器と興味点記述子を導入します。これによりリアルタイム性能と競争力のある精度を実現します。

ABSTRACT

It is hard to create consistent ground truth data for interest points in natural images, since interest points are hard to define clearly and consistently for a human annotator. This makes interest point detectors non-trivial to build. In this work, we introduce an unsupervised deep learning-based interest point detector and descriptor. Using a self-supervised approach, we utilize a siamese network and a novel loss function that enables interest point scores and positions to be learned automatically. The resulting interest point detector and descriptor is UnsuperPoint. We use regression of point positions to 1) make UnsuperPoint end-to-end trainable and 2) to incorporate non-maximum suppression in the model. Unlike most trainable detectors, it requires no generation of pseudo ground truth points, no structure-from-motion-generated representations and the model is learned from only one round of training. Furthermore, we introduce a novel loss function to regularize network predictions to be uniformly distributed. UnsuperPoint runs in real-time with 323 frames per second (fps) at a resolution of $224 imes320$ and 90 fps at $480 imes640$. It is comparable or better than state-of-the-art performance when measured for speed, repeatability, localization, matching score and homography estimation on the HPatch dataset.

研究の動機と目的

• 自然画像の興味点に対して一貫した地上真実を取得する難しさを動機づけ、無監督の検出器と記述子を構築することを目指す。
• 点の位置、スコア、記述子を同時に予測するエンドツーエンドで訓練可能なネットワークを開発する。
• SfMや疑似地上真実生成なしで自己監督を用いた単一の訓練パスから学習を可能にする。
• 頑健性とカバレッジを改善するために、予測を均一な空間分布へ正則化する。

提案手法

• ポイントスコア、位置、記述子マップを出力するためのタスク固有のサブモジュールを備えた共有 CNN バックボーンを使用する。
• 回帰を用いて相対的な点位置を予測し、微分可能な訓練と暗黙的な非極大抑制を可能にする。
• ランダムなホモグラフィとデータ拡張を用いたシアマス自己监督フレームワークを適用し、ビュー間で対応する点対を作成する。
• 新規の UnSupervised Point (USP) 損失を導入し、点対の位置とスコアを整列させ、再現性を促進する。
• 予測点の空間分布を正則化するために均一な XY 分布損失を追加する。
• コンパクトで区別可能な記述子を学習するためにヒンジ形式の記述子損失と相関除去損失を組み込む。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのネットワークは、疑似地上真実や SfM の指針なしに自己監督方式で興味点の検出と記述の両方を学習できるか。
• RQ2 組み込み NMS 風の挙動を統合した回帰ベースの点局在化は、リアルタイムアプリケーションに対して競争力のある速度と精度をもたらすか。
• RQ3 均一な点分布と記述子のデコレレーション補助損失が、再現性、局在化、およびマッチングにどのように影響するか。
• RQ4 ネットワーク内での記述子の補間は訓練と推論に有益か。
• RQ5 HPatch のような標準ベンチマークで、UnsuperPoint が最先端手法と比べてどのように性能を発揮するか。

主な発見

• UnsuperPoint はリアルタイム性能を達成（224x320 で 323 fps、480x640 で 90 fps）、速度関連の指標も競合的または優れている。
• このモデルは、pseudo ground truth ポイントを生成せず、SfM ベースの表現に依存せず、点の位置、スコア、記述子をエンドツーエンドで学習する。
• 回帰ベースの位置予測は、微分可能な訓練とネットワーク内の暗黙的な非極大抑制を可能にする。
• 均一 XY 正則化は境界のクラスタリングを減らし、より均一な空間点分布を生む。
• 記述子の補間、均一な点予測、記述子のデコレレーションは、それぞれ再現性、局在化精度、および HPatch でのマッチング性能に測定可能な改善をもたらす。
• 本アプローチは、速度、再現性、局在化、マッチングスコア、ホモグラフィ推定の点で HPatch における最先端検出器と有利な比較を示す。