[論文レビュー] Progressive Correspondence Pruning by Consensus Learning

Chen Zhao, Yixiao Ge+4 more|arXiv (Cornell University)|Jan 3, 2021

Robotics and Sensor-Based Localization参考文献 45被引用数 9

ひとこと要約

本稿では、局所的・グローバルなコンSENSUS学習を用いた段階的対応関係の刈り込み手法を提案し、極めて不均衡で外れ値が優勢な対応関係集合におけるインライアーディテクションの向上を図る。動的グラフに基づく刈り込みブロックを積み重ね、局所的およびグローバルなコンセンサススコアを推定することで、外れ値を段階的にフィルタリングする。線形フィッティング、カメラポーズ推定、画像局所化のベンチマークにおいて最先端の性能を達成し、YFCC100Mで32.79%のAUC@5°を達成した。

ABSTRACT

Correspondence selection aims to correctly select the consistent matches (inliers) from an initial set of putative correspondences. The selection is challenging since putative matches are typically extremely unbalanced, largely dominated by outliers, and the random distribution of such outliers further complicates the learning process for learning-based methods. To address this issue, we propose to progressively prune the correspondences via a local-to-global consensus learning procedure. We introduce a ``pruning'' block that lets us identify reliable candidates among the initial matches according to consensus scores estimated using local-to-global dynamic graphs. We then achieve progressive pruning by stacking multiple pruning blocks sequentially. Our method outperforms state-of-the-arts on robust line fitting, camera pose estimation and retrieval-based image localization benchmarks by significant margins and shows promising generalization ability to different datasets and detector/descriptor combinations.

研究の動機と目的

• ランダムに分布する外れ値が優勢な対応関係集合においてインライアーディテクションを識別する課題に対処すること。
• クラス不均衡やランダムな外れ値分布に対処しづらいワンショット分類手法の限界を克服すること。
• 多様なデータセットおよび検出器/記述子の組み合わせにわたるロバストネスと一般化性能を向上させること。
• 局所的およびグローバルコンセンサスの段階的精錬を通じて、対応関係選択を改善する段階的刈り込みフレームワークを構築すること。

提案手法

• 本手法は、特徴空間の近傍とその類似度を用いて、各対応関係に対して動的局所グラフを構築する「刈り込み」ブロックを導入する。
• アニュラル畳み込み層が局所特徴をアグリゲートし、周囲のコンテキストに基づいて各対応関係の局所的コンセンサススコアを計算する。
• 局所グラフが統合されグローバルグラフとなり、スペクトル的グラフ畳み込み層がグローバルコンセンサススコアを計算し、刈り込みをガイドする。
• 複数の刈り込みブロックを逐次積み重ねることで、候補集合を段階的に精錬し、反復処理を通じて外れ値の影響を低減する。
• コンセンサススコアの識別能力を向上させるために、適応的温度スケーリングを用いる。
• 本手法はエンドツーエンドで学習され、反復的に適用され、各段階で固定のサンプリング比を用いて候補選択が行われる。

実験結果

リサーチクエスチョン

• RQ1 コンセンサス学習による段階的刈り込みは、ランダムな外れ値が優勢な極めて不均衡な対応関係集合におけるインライアーディテクションを改善できるか？
• RQ2 ランダムな外れ値分布の処理において、局所的からグローバルなコンセンサス学習はワンショット分類と比較してどのように優れるか？
• RQ3 反復的刈り込みが最終的な対応関係集合の整合性と正確性に与える影響は何か？
• RQ4 個々の構成要素（局所的コンセンサス、グローバルコンセンサス、適応的温度）は全体の性能にどのように寄与しているか？

主な発見

• 提案手法はYFCC100Mベンチマークで32.79%のAUC@5°を達成し、ベースラインのPointCNおよび他のSOTA手法を顕著に上回った。
• 段階的刈り込みにより、刈り込まれた候補のインライアーレートが反復回数を経て20%から80%に上昇し、整合性の向上が示された。
• アブレーションスタディの結果、コンセンサス学習を含まないベースラインと比較して、局所的からグローバルなコンセンサス学習が1.71ポイントのAUC向上をもたらした。
• アニュラル畳み込み層はMLPやマックスプーリングよりも0.80ポイントのAUC向上を示し、局所特徴アグリゲーションの有効性を実証した。
• 本手法は異なるデータセットおよび検出器/記述子の組み合わせに対しても強力な一般化性能を示し、分布シフトに対してもロバストであることがわかった。
• 最適な性能は25%のサンプリング比で達成され、刈り込み後に残るマッチ数が少なすぎると性能が低下した。