[論文レビュー] Matching Features without Descriptors: Implicitly Matched Interest Points

Titus Cieslewski, Michael Bloesch+1 more|arXiv (Cornell University)|Nov 26, 2018

Robotics and Sensor-Based Localization参考文献 34被引用数 7

ひとこと要約

本論文は、1つの畳み込みニューラルネットワークを用いて、特徴記述子を必要とせず、各点を一意な出力チャネルに関連付けることで、潜在的に特徴点を一致させる記述子フリーな手法を提案する。このアプローチは、顕著に低いメモリ使用量と帯域幅消費で、競争力ある相対姿勢推定性能を達成し、メモリや帯域幅制約下でも高い精度を維持する。記述子ベースのベースラインに比べて効率性が優れており、特徴記述子の計算と比較の必要がないため、通信コストも大幅に削減される。

ABSTRACT

The extraction and matching of interest points is a prerequisite for many geometric computer vision problems. Traditionally, matching has been achieved by assigning descriptors to interest points and matching points that have similar descriptors. In this paper, we propose a method by which interest points are instead already implicitly matched at detection time. With this, descriptors do not need to be calculated, stored, communicated, or matched any more. This is achieved by a convolutional neural network with multiple output channels and can be thought of as a collection of a variety of detectors, each specialized to specific visual features. This paper describes how to design and train such a network in a way that results in successful relative pose estimation performance despite the limitation on interest point count. While the overall matching score is slightly lower than with traditional methods, the approach is descriptor free and thus enables localization systems with a significantly smaller memory footprint and multi-agent localization systems with lower bandwidth requirements. The network also outputs the confidence for a specific interest point resulting in a valid match. We evaluate performance relative to state-of-the-art alternatives.

研究の動機と目的

• 特徴記述子の明示的定義を排除することで、視覚的局所化システムにおけるメモリ使用量と通信コストを低減すること。
• 分離された特徴記述子計算を経由せずに、特徴点検出と一致を統合的に実行するCNNアーキテクチャを構築すること。
• 校正されていない画像シーケンスを用いて自己教師付き学習を実施することで、耐障害性と一般化性能を向上させること。
• 特に帯域幅やメモリ制約下でも、最小限のデータ表現で競争力ある相対姿勢推定性能を達成すること。
• チャネル固有の最大値を用いた潜在的一致が、従来の特徴記述子ベースの一致と同等の精度で置き換え可能であることを示すこと。

提案手法

• 複数の出力チャネルを持つ1つの畳み込みニューラルネットワークを用い、各チャネルが特定のタイプの視覚的特徴を専門的に検出する。
• 特徴点は各チャネル応答のグローバル最大値として定義され、複数の視点間で一意で明確に分離された特徴点位置を保証する。
• 同じチャネルからの点同士を対応付けることで、特徴記述子の計算と比較を一切不要にし、一致を潜在的に実現する。
• 正例対応点とチャネルの特化を促進するため、正例対応点を用いた自己教師付き損失関数でネットワークを訓練する。
• 各特徴点ごとにチャネル応答から導出される信頼度スコアを出力し、RANSACに基づく幾何的検証における耐障害性を向上させる。
• 視覚的観測値は、座標とチャネルインデックスのみで表現され（1点あたり最低3バイト）、データ容量を著しく削減する。

実験結果

リサーチクエスチョン

• RQ1 CNNのチャネル固有応答を活用することで、特徴記述子を明示的に必要とせずに特徴点一致を達成できるか？
• RQ2 相対姿勢推定において、記述子フリーな潜在的一致の性能は、最先端の記述子ベース手法と比べてどの程度か？
• RQ3 マルチエージェントやリソース制約下の局所化システムにおいて、この手法がどれほどメモリと帯域幅の要件を削減できるか？
• RQ4 自己教師付き学習戦略が、特徴記述子なしで信頼性が高く、正例に近い特徴点を生成できるネットワークを効果的に訓練できるか？
• RQ5 圧縮された記述子ベースラインと比較して、この手法の表現サイズは、精度と効率のトレードオフにおいてどの程度優れているか？

主な発見

• SIFTや学習済み記述子と同等の相対姿勢推定性能を達成し、10個以上の正例を有する画像ペアの80％で良好な姿勢（回転誤差 <1°、並進誤差 <30 cm）が得られた。
• ネットワークの応答の大きさは正例確率と相関しており、RANSACのサンプリング戦略への応用が可能で、効率性の向上が期待できる。
• 1点あたり3バイト（座標 + チャネルインデックス）の表現サイズで、KITTIおよびEuRoCデータセットにおいて、PCAと積集合量子化を施したSIFTを上回る精度とサイズのトレードオフ性能を示した。
• 記述子ベース手法に比べてわずかに低い一致スコアであったが、記述子フリーなアプローチにより、メモリと通信のオーバーヘッドが顕著に削減された。
• 狭基準距離データセットでも強力な性能を維持しており、一般的なが困難な視覚的局所化シナリオにおける耐障害性を示した。
• 校正されていない画像シーケンスを用いた学習により、自己教師付き学習が可能となり、アノテーション付き記述子の必要性を回避した。