[論文レビュー] RIFT2: Speeding-up RIFT with A New Rotation-Invariance Technique

Jiayuan Li, Pengcheng Shi+2 more|arXiv (Cornell University)|Mar 1, 2023

Advanced Image and Video Retrieval Techniques被引用数 15

ひとこと要約

RIFT2 は、RIFT の畳み込みシーケンスリングを置換する dominant-index ベースの回転不変性を導入し、マルチモーダルなマッチング性能を概ね同等に、計算およびメモリ使用量を約3分の1程度抑える。

ABSTRACT

Multimodal image matching is an important prerequisite for multisource image information fusion. Compared with the traditional matching problem, multimodal feature matching is more challenging due to the severe nonlinear radiation distortion (NRD). Radiation-variation insensitive feature transform (RIFT)~\cite{li2019rift} has shown very good robustness to NRD and become a baseline method in multimodal feature matching. However, the high computational cost for rotation invariance largely limits its usage in practice. In this paper, we propose an improved RIFT method, called RIFT2. We develop a new rotation invariance technique based on dominant index value, which avoids the construction process of convolution sequence ring. Hence, it can speed up the running time and reduce the memory consumption of the original RIFT by almost 3 times in theory. Extensive experiments show that RIFT2 achieves similar matching performance to RIFT while being much faster and having less memory consumption. The source code will be made publicly available in \url{https://github.com/LJY-RS/RIFT2-multimodal-matching-rotation}

研究の動機と目的

• NRD 非線形放射歪み下でのより高速なマルチモーダル特徴点マッチングを動機づける。
• RIFT の回転適応機構を改善して計算コストとメモリ使用を削減する。
• RIFT のマッチング性能を維持またはほぼ同等にしつつ、記述子の複雑さを低減する。

提案手法

• Log-Gabor 循環リングによって生成される複数の MIM の代わりに、キーグポイントあたり単一の MIM を再利用する。
• MIM ヒストグラムパッチを計算し、ヒストグラムの dominant index を特定する。
• Dominant index に基づいて MIM を再符号化し、畳み込みシーケンスリングなしで回転不変性を実現する。
• dominant index が有意でない場合、2 番目に高いビンを用いて2 番目の MIM も作成する（安定性の強化）。
• SAR-optical および infrared-optical データセットで、固定されたキー点数とパッチサイズを用いて RIFT2 を SIFT、PSO-SIFT、OS-SIFT、RIFT と比較する。

Figure 1: The framework of RIFT, which contains detection, description, and matching.

実験結果

リサーチクエスチョン

• RQ1 支配ベースのヒストグラム再符号化により、複数の MIM を構築せずに回転不変性を提供できるか？
• RQ2 dominant-index 手法は、計算およびメモリ使用量を削減しつつ RIFT レベルのマッチング精度を維持できるか？
• RQ3 RIFT2 は従来のマルチモーダル SAR- optical および infrared-optical 画像ペア上で他の特徴マッチャーと比較してどう機能するか？

主な発見

• RIFT2 は Log-Gabor ring および複数の MIM を回避することで実行時間とメモリ使用量を大幅に削減し、マッチング性能はほぼ RIFT と同等である。
• SAR-optical データでは、RIFT2 は RMSE が 2.79 対 3.12 の RIFT と、成功率が 96% 対 94% の RIFT を達成する。
• infrared-optical データでは、RIFT2 は RMSE が 2.62 対 2.45 の RIFT、成功率が 97% 対 98% の RIFT。
• 両データセットを通じて、RIFT2 は PSO-SIFT および OS-SIFT よりも正解マッチ数が著しく多く、約110件程度である。
• RIFT2 は参照画像の記述子総量を約6倍削減し、マッチングを高速化しつつ精度を維持する。）

Figure 2: The relationship between histogram and different MIMs $\{MIM_{r}^{\omega}\}_{1}^{{6}}$ .