[論文レビュー] Neural Outlier Rejection for Self-Supervised Keypoint Learning

Jiexiong Tang, Hanme Kim+3 more|arXiv (Cornell University)|Dec 23, 2019

Advanced Image and Video Retrieval Techniques参考文献 31被引用数 4

ひとこと要約

本稿では、ニューラルアウリヤーリジェクションを用いた自己教師付きプロキシタスクであるIO-Netを提案し、キーポイント検出と記述子の共同学習を実現する。また、サブピクセルアップサンプリングと境界認識回帰を備えたKeyPointNetを導入する。本手法は、記述子の明示的教師信号なしで、ベンチマークデータセットにおいて再現性、局所化誤差、ホモロジー推定の面で最先端の性能を達成した。

ABSTRACT

Identifying salient points in images is a crucial component for visual odometry, Structure-from-Motion or SLAM algorithms. Recently, several learned keypoint methods have demonstrated compelling performance on challenging benchmarks. However, generating consistent and accurate training data for interest-point detection in natural images still remains challenging, especially for human annotators. We introduce IO-Net (i.e. InlierOutlierNet), a novel proxy task for the self-supervision of keypoint detection, description and matching. By making the sampling of inlier-outlier sets from point-pair correspondences fully differentiable within the keypoint learning framework, we show that are able to simultaneously self-supervise keypoint description and improve keypoint matching. Second, we introduce KeyPointNet, a keypoint-network architecture that is especially amenable to robust keypoint detection and description. We design the network to allow local keypoint aggregation to avoid artifacts due to spatial discretizations commonly used for this task, and we improve fine-grained keypoint descriptor performance by taking advantage of efficient sub-pixel convolutions to upsample the descriptor feature-maps to a higher operating resolution. Through extensive experiments and ablative analysis, we show that the proposed self-supervised keypoint learning method greatly improves the quality of feature matching and homography estimation on challenging benchmarks over the state-of-the-art.

研究の動機と目的

• 自然画像におけるキーポイント検出のための正確で一貫性のある学習データを取得する課題に取り組む。特に、顕著な点のための人的アノテーションの難易度を考慮する。
• SIFT や ORB といったハンドクラフト特徴量の限界を克服する。これらの特徴量は学習済み手法に劣るが、高コストな教師信号を必要とする。
• インライヤー・アウターラー分類に基づく新しいプロキシタスクを用いた、キーポイント検出と記述子の共同最適化を実現する自己教師フレームワークを開発する。
• キーポイント局所化と特徴マップのアップサンプリングにおけるアーキテクチャ的革新を通じて、記述子の忠実性とマッチングのロバスト性を向上させる。
• キーポイントまたは記述子の明示的教師信号に依存せずに、再現性、局所化誤差、ホモロジー推定の面で最先端の性能を達成する。

提案手法

• 候補となる点対の対応関係に対してニューラルアウリヤーリジェクションを実行する微分可能プロキシタスクであるIO-Netを導入し、キーポイント学習のための監視信号を生成する。
• インライヤー・アウターラー予測ヘッドを用いて、キーポイントネットがより特徴的な記述子を学習できるように勾配信号を供給する。
• グリッドセルの外側にもキーポイント位置を予測可能な回帰ヘッドを備えたKeyPointNetを設計し、セル境界付近の精度を向上させる。
• サブピクセル畳み込みを用いて記述子特徴マップを高解像度にアップサンプリングし、微細な詳細を保持することでメトリック学習を改善する。
• キーポイントアノテーションを明示的に使用せず、IO-Netの損失と記述子の対照性を促進するトリプレット損失のみを用いて、キーポイントネットをエンドツーエンドで学習する。
• アウターラー拒否タスクからの勾配の流れを活用し、直接的な記述子損失がなくても、記述子学習を暗黙的に監視する。

実験結果

リサーチクエスチョン

• RQ1 アウターラー拒否に基づく自己教師付きプロキシタスクは、明示的なアノテーションなしでキーポイント検出と記述子の学習を効果的に監視できるか？
• RQ2 微分可能なアウターラー拒否は、キーポイント記述子の品質とマッチング性能をどのように向上させるか？
• RQ3 サブピクセルアップサンプリングや境界認識回帰といったアーキテクチャ的改善は、キーポイント検出と記述子の忠実性をどの程度向上させるか？
• RQ4 完全に自己教師付きのキーポイントネットは、再現性、局所化誤差、ホモロジー推定の面で最先端の性能を達成できるか？
• RQ5 補助的なIO-Netタスクは、明示的教師信号なしで高品質な記述子を学習するのに十分な監視信号を提供できるか？

主な発見

• 提案手法は240×320解像度で0.686の再現性を達成し、UnsuperPoint（0.645）やSuperPoint（0.631）を上回った。
• 480×640解像度では再現性が0.684に達し、UnsuperPoint（0.612）やSuperPoint（0.593）を大きく上回った。
• 局所化誤差に関しては、240×320解像度で0.890、480×640解像度で0.970を達成し、高解像度でUnsuperPoint（0.832および0.991）を上回った。
• 480×640解像度、1000キーポイント条件下でマッチングスコア（M.Score）が0.544を達成し、UnsuperPoint（0.383）やSuperPoint（0.281）を上回った。
• Cor-5閾値を用いたホモロジー推定では0.907のマッチングスコアを達成し、SIFTを除くすべてのベースラインを上回り、困難な条件下でも優れたロバスト性を示した。
• Titan Xp上で174.5 FPS（アップサンプリングあり）および194.9 FPS（なし）の実行速度を達成し、リアルタイム推論が可能であることを示した。