[論文レビュー] Key.Net: Keypoint Detection by Handcrafted and Learned CNN Filters

Axel Barroso-Laguna, Edgar Riba+2 more|arXiv (Cornell University)|Apr 1, 2019

Advanced Image and Video Retrieval Techniques参考文献 39被引用数 59

ひとこと要約

Key.Net は、マルチスケールかつ浅いアーキテクチャで、再現性の高いキーポイントを高性能・高効率で検出するために、手作りの画像フィルターと学習済み CNN フィルターを組み合わせます。

ABSTRACT

We introduce a novel approach for keypoint detection task that combines handcrafted and learned CNN filters within a shallow multi-scale architecture. Handcrafted filters provide anchor structures for learned filters, which localize, score and rank repeatable features. Scale-space representation is used within the network to extract keypoints at different levels. We design a loss function to detect robust features that exist across a range of scales and to maximize the repeatability score. Our Key.Net model is trained on data synthetically created from ImageNet and evaluated on HPatches benchmark. Results show that our approach outperforms state-of-the-art detectors in terms of repeatability, matching performance and complexity.

研究の動機と目的

• スケール、視点、照明の変化に対して安定して機能する頑健なキーポイント検出を動機づける。
• パラメータ数を削減するため、手作りのアンカーと学習済みフィルターの両方を活用するハイブリッドアーキテクチャを提案する。
• スケール間の再現性を促進する、微分可能なマルチスケール損失を開発する。
• Multi-scale Index Proposal (M-SIP) 層を導入し、スケール空間全体でキーポイントを提案・ランク付けする。
• HPatches ベンチマークで評価し、再現性、マッチング、効率を比較する。

提案手法

• 一階および二階の偏微分（LocalJet）に基づく手作りフィルターを、学習可能な CNN ブロックと組み合わせて使用する。
• 共有重みを持つ三段階のスケールスペースピラミッドを通じて入力を処理し、特徴マップをアップサンプリング/結合する。
• ウィンドウ内の空間ソフトマックスを介してキーポイント座標を抽出する、微分可能な Index Proposal (IP) 層を適用する。
• IP を Multi-scale Index Proposal (M-SIP) に拡張し、スケール間の共変損失を平均化することでクロススケールの頑健性を課す。
• 画像対間の既知のホモグラフィに対してキーポイントを関連づける共変損失を用いたシアム形式で訓練する。
• 合成の ImageNet ベースのトレーニングセットと HPatches ベンチマークで評価し、再現性、IoU、スケール範囲、マッチング性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 手作りと学習済みフィルターの両方を用いるハイブリッド検出器は、完全に学習された検出器より高い再現性を達成できますか？
• RQ2 マルチスケールの index proposal 損失は、スケール変動に対するキーポイントの頑健性を向上させますか？
• RQ3 最新手法と比較して、HPatches における Key.Net の再現性、IoU、スケール安定性、マッチング性能はどうですか？
• RQ4 ピラミッドレベルと手作りフィルターの使用がモデルの効率と精度に与える影響はどうですか？

主な発見

• Key.Net は HPatches で最先端または競合的な再現性を達成し、特に視点不変性・スケール不変性設定で優れています。
• 手作りフィルターをソフトアンカーとして組み込むと学習可能パラメータが削減され、性能を維持したまま Tiny-Key.Net で 600×600 画像あたり 5.7 ms、175 FPS の推論を実現します。
• 5つのウィンドウサイズ（8×8 から 40×40 まで）を用いるMulti-scale loss（M-SIP）は再現性を向上させ、すべてのスケールを組み合わせたときに最良の結果を得ます。
• リソースが限られている場合、手作りフィルターを組み込んだ3つの学習可能ブロックは、純粋に学習されたバリアントよりも優れており、複雑さが増すにつれて深いネットワークに近い性能を示します。
• スケールエラーなしの Key.Net は、HardNet というディスクリプタと組み合わせた場合、視点変化に特に強いマッチング性能を示します。