[論文レビュー] OAMatcher: An Overlapping Areas-based Network for Accurate Local Feature Matching

Kun Dai, Tao Xie+4 more|arXiv (Cornell University)|Feb 12, 2023

Advanced Image and Video Retrieval Techniques参考文献 55被引用数 10

ひとこと要約

OAMatcherは検出器なしの Transformer ベースのネットワークで、共視可能な重なり領域に焦点を当てて密集かつ正確な局所特徴マッチングを実現する。訓練時のノイズラベルを扱うためのMatch Labels Weight Strategyを備える。

ABSTRACT

Local feature matching is an essential component in many visual applications. In this work, we propose OAMatcher, a Tranformer-based detector-free method that imitates humans behavior to generate dense and accurate matches. Firstly, OAMatcher predicts overlapping areas to promote effective and clean global context aggregation, with the key insight that humans focus on the overlapping areas instead of the entire images after multiple observations when matching keypoints in image pairs. Technically, we first perform global information integration across all keypoints to imitate the humans behavior of observing the entire images at the beginning of feature matching. Then, we propose Overlapping Areas Prediction Module (OAPM) to capture the keypoints in co-visible regions and conduct feature enhancement among them to simulate that humans transit the focus regions from the entire images to overlapping regions, hence realizeing effective information exchange without the interference coming from the keypoints in non overlapping areas. Besides, since humans tend to leverage probability to determine whether the match labels are correct or not, we propose a Match Labels Weight Strategy (MLWS) to generate the coefficients used to appraise the reliability of the ground-truth match labels, while alleviating the influence of measurement noise coming from the data. Moreover, we integrate depth-wise convolution into Tranformer encoder layers to ensure OAMatcher extracts local and global feature representation concurrently. Comprehensive experiments demonstrate that OAMatcher outperforms the state-of-the-art methods on several benchmarks, while exhibiting excellent robustness to extreme appearance variants. The source code is available at https://github.com/DK-HU/OAMatcher.

研究の動機と目的

• 検出器が機能しない極端な外観変化下で、頑健な局所特徴マッチングを動機づける。
• クリーンなコンテキスト交換のため、全体画像から重なる領域へ焦点を移す人間に着想したワークフローを導入する。
• 訓練時の測定ノイズを緩和するための真値ラベルの重み付けメカニズムを提案する。
• グローバル特徴と局所特徴を統合して密なマッチングを行うTransformerベースの検出器なしアーキテクチャを開発する。
• 屋内外のベンチマークで最先端の性能と頑健性を示す。

提案手法

• すべてのキーポイント間でグローバル情報を統合し、初期の全画像観察を模倣する。
• Overlapping Areas Prediction Module (OAPM) を用いて co-visible masks に基づき共視領域を識別する。
• Overlapping Areas Transformer Module (OATM) を用いて重なり領域内の特徴を強化する。
• Matches Proposal Block (MPB) および Matches Refinement Block (MRB) による粗いから細かいマッチング。
• Match Labels Weight Strategy (MLWS) を用いて訓練のための確率的ラベル信頼度を割り当てる。
• Depth-wise畳み込みをTransformerエンコーダ層に統合して局所特徴とグローバル特徴を融合する。

Figure 1: Comparison between LoFTR and OAMatcher. Compared with the LoFTR that only integrates information in the entire images, OAMatcher transits the focus regions from entire images to overlapping regions, which is more human-intuitive.

実験結果

リサーチクエスチョン

• RQ1 重なり(共視)領域を予測・活用することは、全画像アテンションと比較して局所特徴マッチングの頑健性と精度を向上させるか。
• RQ2 訓練時におけるノイズのある真値マッチに対して、確率的ラベル信頼度メカニズム(MLWS)はより適切に対処できるか。
• RQ3 Transformer層内へのDepth-wise畳み込みの統合は、マッチングの局所/グローバル特徴表現にどう影響するか。
• RQ4 提案された OAPM および OATM コンポーネントは、ベンチマーク全体で最先端の detector-free メソッドに対して有意な改善をもたらすか。
• RQ5 OAMatcherは detector-based および detector-free ベースラインと比較して、極端な外観変化に対して頑健か。）

主な発見

局所特徴	マッチャー	CCM (ε<1/3/5 px) 総合	照明	視点
D2-Net	NN	0.38/0.71/0.82	0.66/0.95/0.98	0.12/0.49/0.67
SuperPoint	NN	0.46/0.78/0.85	0.57/0.92/0.97	0.35/0.65/0.74
SuperGlue	-	0.51/0.82/0.89	0.60/0.92/0.98	0.42/0.71/0.81
SGMNet	-	0.52/0.85/0.91	0.59/0.94/0.98	0.46/0.74/0.84
ClusterGNN	-	0.52/0.84/0.90	0.61/0.93/0.98	0.44/0.74/0.81
SparseNCNet	-	0.36/0.65/0.76	0.62/0.92/0.97	0.13/0.40/0.58
Patch2Pix	-	0.50/0.79/0.87	0.71/0.95/0.98	0.30/0.64/0.76
LoFTR	-	0.55/0.81/0.86	0.74/0.95/0.98	0.38/0.69/0.76
MatchFormer	-	0.55/0.81/0.87	0.75/0.95/0.98	0.37/0.68/0.78
OAMatcher	-	0.54/0.85/0.91	0.67/0.95/0.98	0.42/0.75/0.84

• OAMatcherは競争力のある性能を発揮し、HPatсhes様の評価において3ピクセルおよび5ピクセル閾値でベースラインLoFTRを約4–5パーセントポイント上回る。
• HPatchesでは、OAMatcherは overall CCM が 0.54/0.85/0.91、illumination が 0.67/0.95/0.98、viewpoint が 0.42/0.75/0.84 を報告する。
• OAMatcherは、検出器なしの仲間を含む他の手法と比較して、極端な外観変化に対して頑健性を示す。
• 本モデルは適応閾値と形態学的後処理を用いて共視マスクを導出し、重なり領域への焦点を強化する。
• MLWSはマッチラベルに確率的信頼度を割り当て、ノイズのあるまたは不正確な真値ラベルの影響を緩和する。

Figure 2: The network architecture of OAMatcher. OAMatcher utilizes Feature Extractor to generate multi-scale features. Then, OAMatcher leverages Overlapping Areas Message Aggregation Module to capture co-visible regions, realizing effective and clean context message passing. Finally, Matches Propos