[論文レビュー] SEKD: Self-Evolving Keypoint Detection and Description

Yafei Song, Ling Cai+3 more|arXiv (Cornell University)|Jun 9, 2020

Advanced Image and Video Retrieval Techniques参考文献 13被引用数 25

ひとこと要約

SEKDは、ラベルなし自然画像のみを用いて、自己教師ありで自己進化するフレームワークを提案する。繰り返し検出器と記述子モジュールを、再現性と信頼性の性質に基づいて最適化することで、ホモロジー推定、相対姿勢推定、構造から形状を復元するタスクにおいて、先行する手作業で設計された手法やDNNベースの手法を上回る最先端の性能を達成した。HPatchesでは65.18%のAvg.HA@1:10、IMCでは0.553 mAAを達成した。

ABSTRACT

Researchers have attempted utilizing deep neural network (DNN) to learn novel local features from images inspired by its recent successes on a variety of vision tasks. However, existing DNN-based algorithms have not achieved such remarkable progress that could be partly attributed to insufficient utilization of the interactive characters between local feature detector and descriptor. To alleviate these difficulties, we emphasize two desired properties, i.e., repeatability and reliability, to simultaneously summarize the inherent and interactive characters of local feature detector and descriptor. Guided by these properties, a self-supervised framework, namely self-evolving keypoint detection and description (SEKD), is proposed to learn an advanced local feature model from unlabeled natural images. Additionally, to have performance guarantees, novel training strategies have also been dedicatedly designed to minimize the gap between the learned feature and its properties. We benchmark the proposed method on homography estimation, relative pose estimation, and structure-from-motion tasks. Extensive experimental results demonstrate that the proposed method outperforms popular hand-crafted and DNN-based methods by remarkable margins. Ablation studies also verify the effectiveness of each critical training strategy. We will release our code along with the trained model publicly.

研究の動機と目的

• 深層学習の進展にもかかわらず、DNNベースの局所特徴手法が手作業で設計された手法に比べて性能向上が限定的であるという問題に取り組む。
• キーポイント検出器と記述子の間にある、内在的かつ相互に作用する性質（再現性と信頼性）を活用して、特徴の学習を向上させる。
• 人為的アノテーションが一切不要な自己教師あり学習フレームワークを構築し、自然画像のみを用いてエンドツーエンド最適化を可能にする。
• 再現性と信頼性を強制する専用の訓練戦略を通じて、学習された特徴とその望ましい性質とのギャップを埋める。

提案手法

• フレームワークは、ラベルなし画像のみを用いて、反復的に検出器と記述子モジュールを自己進化的に最適化する。
• 検出器最適化は記述子の信頼性によってガイドされる：信頼性の高い記述子を持つキーポイントが、検出器学習のための仮の正例として用いられる。
• 記述子最適化は検出器の信頼性によってガイドされる：記述子は、現在の検出器が検出するキーポイントを区別できるように学習される。
• 損失関数により、アフィン変換を施した画像ペア間での記述子の再現性が強制され、不変性が向上する。
• 記述子の特徴的差別性を保証するための損失関数が導入され、異なるキーポイントの記述子が十分に区別可能になるようにする。
• 訓練中にアフィンデータオーグメンテーションが適用され、非平面なシーンへの耐性と一般化性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなし画像のみを用いて、自己教師ありフレームワークがキーポイント検出と記述を同時に最適化できるか？
• RQ2 再現性と信頼性の性質が、学習された局所特徴の性能にどのように影響を与えるか？
• RQ3 検出器と記述子を交互に最適化する自己進化型訓練戦略が、既存のDNNベースおよび手作業で設計された手法を上回る性能を達成できるか？
• RQ4 特定の訓練部品（例：記述子の再現性損失や差別性損失）が性能向上にどの程度寄与しているか？

主な発見

• HPatchesデータセットでは79.98%のAvg.HA@1:10を達成し、2番目に良い手法（R2D2）の72.15%を大きく上回った。
• IMCデータセットでは、構造から形状を復元するタスクで0.553 mAA、相対姿勢推定で0.430 mAAを達成し、SuperPointをそれぞれ0.035と0.049上回った。
• 除去実験では、記述子の再現性損失または差別性損失を削除すると性能が低下し、Avg.HA@1:10はそれぞれ66.58%と78.03%に低下した。
• 検出器の再現性損失やアフィンデータオーグメンテーションを削除しても性能が低下したため、モデルの安定性と収束性に寄与していることが示された。
• 合成アフィン変換を施した自然画像のみで学習されたにもかかわらず、SEKDは3D再構築タスクに良好に一般化され、優れた耐性を示した。