[論文レビュー] RFVTM: A Recovery and Filtering Vertex Trichotomy Matching for Remote Sensing Image Registration

Ming Zhao, Bowen An+3 more|arXiv (Cornell University)|Apr 2, 2022

Advanced Image and Video Retrieval Techniques参考文献 40被引用数 11

ひとこと要約

本稿では、アフィン不変な頂点三項記述子を用いてグローバルな空間的関係をモデル化し、反復的に外れ値をフィルタリングする、リモートセンシング画像の登録のためのグラフベースの特徴マッチング手法RFVTMを提案する。外れ値検出中に誤って除去されたインライアーを回復・フィルタリングする戦略により、大規模な変形、重複、スペクトルの不一致の下でも、精度と安定性が著しく向上し、RANSAC、GTM、VTMを凌駉する精度と耐障害性を、多様な条件下で実現する。

ABSTRACT

Reliable feature point matching is a vital yet challenging process in feature-based image registration. In this paper,a robust feature point matching algorithm called Recovery and Filtering Vertex Trichotomy Matching (RFVTM) is proposed to remove outliers and retain sufficient inliers for remote sensing images. A novel affine invariant descriptor called vertex trichotomy descriptor is proposed on the basis of that geometrical relations between any of vertices and lines are preserved after affine transformations, which is constructed by mapping each vertex into trichotomy sets. The outlier removals in Vertex Trichotomy Matching (VTM) are implemented by iteratively comparing the disparity of corresponding vertex trichotomy descriptors. Some inliers mistakenly validated by a large amount of outliers are removed in VTM iterations, and several residual outliers close to correct locations cannot be excluded with the same graph structures. Therefore, a recovery and filtering strategy is designed to recover some inliers based on identical vertex trichotomy descriptors and restricted transformation errors. Assisted with the additional recovered inliers, residual outliers can also be filtered out during the process of reaching identical graph for the expanded vertex sets. Experimental results demonstrate the superior performance on precision and stability of this algorithm under various conditions, such as remote sensing images with large transformations, duplicated patterns, or inconsistent spectral content.

研究の動機と目的

• 大規模なアフィン変形、重複パターン、スペクトルの不一致の影響により信頼性の低い特徴点マッチングが生じるリモートセンシング画像の課題に対処すること。
• 剛体および非剛体変形（例：せん断、回転、スケーリング）の両方に対して不変性を保つ、耐障害性の高いグラフベースのマッチング手法を開発すること。
• 頂点三項記述子の反復的差異比較による外れ値検出とフィルタリングにより、誤検出を低減し、十分なインライアーを保持すること。
• 高外れ値密度や擬似同型グラフ構造の下で、外れ値フィルタリング中に誤って除去されたインライアーを回復すること。
• 高外れ値比や複雑な画像歪みなどの極端な条件下でも、マッチングの精度と安定性を向上させること。

提案手法

• 他の点が形成する直線に対する空間的関係に基づいて、各特徴点（頂点）を三項集合にマッピングすることで、新規のアフィン不変記述子「頂点三項記述子」を構築する。
• 候補マッチング間の対応する頂点三項記述子の差異を比較することで、反復的に外れ値検出を実行する。
• 同一の頂点三項記述子と小さな変換誤差を持つインライアーを回復するための回復およびフィルタリング戦略を導入し、耐障害性を向上させる。
• 回復されたインライアーを頂点集合に拡張し、擬似同型グラフ構造に起因する残留外れ値を除去するために再フィルタリングを実施する。
• 初期頂点集合を小さなグループに分割することで計算複雑度を低減しながらも、マッチング性能を維持するための最適化を実施する。
• 実際のリモートセンシング画像ペアを用いて、大規模な変形、重複、スペクトル不一致を含む多様な条件下でアルゴリズムを評価する。

実験結果

リサーチクエスチョン

• RQ1 リモートセンシング画像において、剛体および非剛体アフィン変形の両方に対して不変性を達成する特徴マッチング手法は、どのように構築できるか？
• RQ2 高外れ値比および重複パターンの存在下で、効果的に外れ値をフィルタリングしつつ、重要なインライアーを保持する戦略は何か？
• RQ3 擬似同型グラフ構造の下で、反復的外れ値フィルタリング中に誤って除去されたインライアーを回復するメカニズムは、有効に機能するか？
• RQ4 極端な画像歪みの下で、RFVTMはRANSAC、GTM、VTMと比較して、精度および計算効率の面でどのように優れているか？
• RQ5 初期頂点集合の分割は、マッチング精度を著しく低下させることなく、計算効率をどの程度向上させるか？

主な発見

• RFVTMは、全テスト条件下でRANSAC、GTM、VTMを上回る優れた精度と安定性を達成しており、特に外れ値比が95%という高外れ値比の下でも顕著である。
• 外れ値割合が上昇するに従い、RFVTMの平均実行時間はRANSACやGTMよりもゆっくり増加するため、高ノイズ環境下でも優れたスケーラビリティを示す。
• 20個のインライアーを保持する状況で、外れ値比95%の条件下でもRFVTMは100%の精度を達成するが、RANSACとGTMは外れ値比55%を超えると高い精度を維持できなくなる。
• 初期頂点の分割により時間計算量が低減される：m=10グループの場合、m=1の場合と比較して平均で2.8倍高速化され、性能損失は最小限（例：22%のVTM対比19%のインライアー損失）。
• 分割された設定下でも、回復およびフィルタリング戦略により性能劣化が低減され、初期インライアーの平均87%を保持する。VTMと比較して65%にとどまる状況と比較して顕著な優位性を示す。
• 外れ値比95%の条件下で、10組の画像ペアのうち8組でRFVTMは100%の精度を維持し、極端な状況下でも優れた耐障害性を示している。