[論文レビュー] AdaLAM: Revisiting Handcrafted Outlier Detection

Luca Cavalli, Viktor Larsson+3 more|arXiv (Cornell University)|Jun 7, 2020

Robotics and Sensor-Based Localization参考文献 42被引用数 7

ひとこと要約

AdaLAM は、局所アフィン変換のための適応的しきい値を用いた階層的空間的検証を組み合わせることで、画像マッチングにおけるアウリヤー除去のための新規で高並列性を持つ手法を提案する。精度と速度の両面で最先端の性能を達成しており、最新の GPU で 1 イメージペアあたり 20ms 未塔で 8,000 マッチを処理する。屋外および屋内シーンにわたり優れた汎用性を示している。

ABSTRACT

Local feature matching is a critical component of many computer vision pipelines, including among others Structure-from-Motion, SLAM, and Visual Localization. However, due to limitations in the descriptors, raw matches are often contaminated by a majority of outliers. As a result, outlier detection is a fundamental problem in computer vision, and a wide range of approaches have been proposed over the last decades. In this paper we revisit handcrafted approaches to outlier filtering. Based on best practices, we propose a hierarchical pipeline for effective outlier detection as well as integrate novel ideas which in sum lead to AdaLAM, an efficient and competitive approach to outlier rejection. AdaLAM is designed to effectively exploit modern parallel hardware, resulting in a very fast, yet very accurate, outlier filter. We validate AdaLAM on multiple large and diverse datasets, and we submit to the Image Matching Challenge (CVPR2020), obtaining competitive results with simple baseline descriptors. We show that AdaLAM is more than competitive to current state of the art, both in terms of efficiency and effectiveness.

研究の動機と目的

• 画像マッチングパイプラインにおけるハンドクラフト型アウリヤー検出のロバスト性と効率性を向上させること。
• 比値テストや相互最近傍点など従来のフィルタの限界を克服し、空間的一致性と幾何的検証を統合すること。
• 学習された記述子に依存せずに、多様なシーン（屋外および屋内）にわたって良好に一般化できる手法を設計すること。
• 最新の並列処理ハードウェアに最適化し、GPU で 1 イメージペアあたり 20ms 未塔の低遅延処理を実現すること。
• 局所領域のサポートに応じて幾何的仮定を動的に緩和する適応的しきい値を導入し、一般化性能を向上させること。

提案手法

• まず、仮のマッチから一様に分布した領域対応仮説を特定する階層的パイプラインを採用する。
• 各仮説に対して、同じ局所アフィン変換に整合するマッチを選択し、感度とロバスト性のバランスを取るためにサンプル適応的しきい値を用いる。
• RANSAC に類似したサンプリングを用いて局所アフィン検証を実施し、各領域内で一貫した変換を支持するインライヤーを同定する。
• 局所的サポートに応じて幾何的制約を緩和する適応的しきい値を適用し、さまざまなシーン状況への一般化を向上させる。
• 最新の GPU の並列処理能力を活用して、複数の領域仮説とマッチ集合を同時に処理し、低遅延のフィルタリングを実現する。
• 標準的なベースライン記述子（例：SIFT）とシームレスに統合可能であり、性能向上は記述子の品質ではなくフィルタリングパイプラインによるものであることを示している。

実験結果

リサーチクエスチョン

• RQ1 適応的しきい値と並列処理を組み合わせたハンドクラフト型幾何的フィルタが、学習済み手法を上回る性能を発揮できるか？
• RQ2 局所的サポートに応じて幾何的仮定を動的に緩和することで、屋内 vs 屋外、さまざまな視点といった多様な画像ペアにおける一般化性能がどのように向上するか？
• RQ3 完全に幾何的で学習を含まないアプローチが、アウリヤー除去においてどれほど最先端の性能に達成できるか？
• RQ4 固定しきい値と比較して、局所アフィン検証におけるサンプル適応的しきい値の導入による性能向上はどの程度か？
• RQ5 精度を損なわず、最新の GPU 硬貨上でそのようなパイプラインをどの程度効率的に並列化できるか？

主な発見

• Image Matching Challenge (CVPR 2020) において、標準的なベースライン記述子のみを用いても最先端の手法を上回る競争力のある性能を達成した。
• YFCC100M データセットでは、mAP20 88.8%、AUC20* 94.6% を達成し、OA-Net (84.7% mAP20、90.9% AUC20*) や NGRANSAC (84.7% mAP20、90.9% AUC20*) を顕著に上回った。
• SUN3D データセットでは、mAP20 58.4%、AUC20* 89.2% を達成し、OA-Net (49.9% mAP20、89.6% AUC20*) や NGRANSAC (46.5% mAP20、90.9% AUC20*) を上回った。
• AdaLAM は最新の GPU で 1 イメージペアあたり 8,000 マッチを 20ms 未塔で処理でき、リアルタイム応用に適した高い効率性を示した。
• 適応的しきい値機構により、低テクスチャや困難なシーンでも一般化性能が向上し、局所的サポートレベルに応じて動的に調整される。
• AdaLAM のインライヤー集合に対して LO-RANSAC を用いて本質行列を再適合させることで、性能がさらなる向上を示し、フィルタリングされたマッチのロバスト性を確認した。