[論文レビュー] Large scale evaluation of local image feature detectors on homography datasets

Karel Lenc, Andrea Vedaldi|arXiv (Cornell University)|Jul 20, 2018

Advanced Image and Video Retrieval Techniques参考文献 25被引用数 17

ひとこと要約

本論文は、ホモロジー付加付き画像系列を用いた局所的画像特徴検出器の評価を目的とした大規模ベンチマークであるHPSequencesを紹介する。特徴数やスケールへの依存性を低減する改良された再現性評価プロトコルを提案し、深層学習が照度不変性を向上させることを示しながらも、視点不変性に関しては従来の検出器が依然として非常に競争力があることを示している。

ABSTRACT

We present a large scale benchmark for the evaluation of local feature detectors. Our key innovation is the introduction of a new evaluation protocol which extends and improves the standard detection repeatability measure. The new protocol is better for assessment on a large number of images and reduces the dependency of the results on unwanted distractors such as the number of detected features and the feature magnification factor. Additionally, our protocol provides a comprehensive assessment of the expected performance of detectors under several practical scenarios. Using images from the recently-introduced HPatches dataset, we evaluate a range of state-of-the-art local feature detectors on two main tasks: viewpoint and illumination invariant detection. Contrary to previous detector evaluations, our study contains an order of magnitude more image sequences, resulting in a quantitative evaluation significantly more robust to over-fitting. We also show that traditional detectors are still very competitive when compared to recent deep-learning alternatives.

研究の動機と目的

• 特徴記述子に依存せずに局所的特徴検出器を評価できる現代的で大規模なベンチマークの不足を解消すること。
• 特徴数や拡大率要因への感受性を低減することで、標準の再現性指標を改善すること。
• 視点や照度の変化を含む多様な撮影条件における検出器間の公平でより頑健な比較を可能にすること。
• 今後の局所的特徴検出に関する研究のための再現可能でオープンソースの評価フレームワークを提供すること。
• 古典的な手作業で設計された検出器と最新の深層学習ベースの検出器が、実世界の課題に対してどのように性能を発揮するかを評価すること。

提案手法

• 各画像あたりに検出された特徴数を制御できる正規化され、スケールに依存しない測定値を導入することで、標準の再現性評価プロトコルを拡張する。
• HPatchesデータセット（HPSequencesとして参照）を用い、完全な画像と真値のホモロジーを用いて、視点（HP-V）および照度（HP-I）の系列における検出器の評価を行う。
• すべての画像ペアにおける再現性分布を1枚のプロットで可視化する新しい集約法を導入し、検出器間の定量的比較を可能にする。
• 性能の下限を確立するために、たとえばランダム特徴検出器のような自明なベースラインを組み込む。
• キーポイント中心間距離の代わりに楕円の重なりを用いる、より正確な類似度評価が可能な修正済みの再現性計算を適用する。
• 再現可能性を確保し、今後のベンチマーク作業を促進するために、オープンソースのコードと事前計算済みスコアを公開する。

実験結果

リサーチクエスチョン

• RQ1 提案された評価プロトコルは、標準の再現性指標と比較して、公平性と頑健性をどのように向上させているか？
• RQ2 深層学習ベースの検出器は、視点不変性および照度不変性において、従来の手作業で設計された検出器をどの程度上回っているか？
• RQ3 視点や照度の変化の程度が異なるさまざまな画像系列において、検出器の性能と安定性はどのように変化するか？
• RQ4 学習された検出器の登場にもかかわらず、従来の検出器は幾何的条件下が厳しい状況でも高い再現性を達成し続けられるか？
• RQ5 ランダム特徴検出器のベースライン性能はどの程度で、再現性スコアの解釈にどのように寄与するか？

主な発見

• TILDE-T検出器は照度系列（HP-I）で最高の再現性を達成し、照度変化に対して強い頑健性を示している。
• 視点不変性（HP-V）においては、Hes-A検出器が全体で最高のパフォーマンスを示し、TILDE-TとDNet-Sは特定の極端な状況で強力な補完的行動を示している。
• Hes-A や BRISK といった従来の検出器は、VGG、Webcam、Hannover などの複数のデータセットで平均して80％以上の再現性を維持しており、優れた一般化性能を示している。
• トップパフォーマンスの検出器では、閾値にわたる検出スコアの安定性が最も高く、大多数が10％未満の安定性誤差を示しているが、BRISK や RAND-T は予測可能性が低い。
• 深層学習の進展にもかかわらず、スケール選択とアフィン変換適応を備えた従来の検出器は、視点不変性において学習された検出器とほぼ同等の効果を発揮している。
• 提案された評価プロトコルにより、大規模なスケール（VGGアフィンの48対比696の画像系列）のおかげで過学習のリスクが顕著に低減され、より信頼性が高く一般化可能な結果が得られた。