[論文レビュー] Learning Two-View Correspondences and Geometry Using Order-Aware Network

Jiahui Zhang, Dawei Sun+7 more|arXiv (Cornell University)|Aug 14, 2019

Advanced Vision and Imaging参考文献 45被引用数 54

ひとこと要約

本論文は、Order-Aware Network (OANet) を用いて、sparse correspondences のインライア確率を共同推定し、essential matrix を回帰する。DiffPool、Order-Aware DiffUnpool、Order-Aware Filtering block を用いて、局所および全体の文脈を捉え、2視点幾何推定を改善する。

ABSTRACT

Establishing correspondences between two images requires both local and global spatial context. Given putative correspondences of feature points in two views, in this paper, we propose Order-Aware Network, which infers the probabilities of correspondences being inliers and regresses the relative pose encoded by the essential matrix. Specifically, this proposed network is built hierarchically and comprises three novel operations. First, to capture the local context of sparse correspondences, the network clusters unordered input correspondences by learning a soft assignment matrix. These clusters are in a canonical order and invariant to input permutations. Next, the clusters are spatially correlated to form the global context of correspondences. After that, the context-encoded clusters are recovered back to the original size through a proposed upsampling operator. We intensively experiment on both outdoor and indoor datasets. The accuracy of the two-view geometry and correspondences are significantly improved over the state-of-the-arts. Code will be available at https://github.com/zjhthu/OANet.git.

研究の動機と目的

• 疎な対応関係に対して、局所とグローバルな文脈の両方を活用して、正確な2視点幾何推定を動機づける。
• 事前に定義された隣接点を持たず、対応関係の置換不変なクラスタリングを開発する。
• 階層的な文脈モデリングと、元の対応関係への正確なアップサンプリングを可能にする。
• 微分可能で重み付きの八点アルゴリズムを介して、エッセンシャルマトリックスをエンドツーエンドで回復する。
• 従来法と比較して、屋外データセットおよび屋内データセットで姿勢推定の改善を実証する。

提案手法

• Differentiable Pooling (DiffPool) を導入し、 unordered correspondences を canonical order へクラスタリングする。
• Order-Aware Differentiable Unpooling (DiffUnpool) を開発し、順序認識を持ってクラスタを元の対応関係へアップサンプリングする。
• Canonical order でクラスタを相関させることでグローバル文脈をモデル化する Order-Aware Filtering block を追加する。
• 置換同時可変の f_phi を用いて、各対応のロジット z とインライアの尤度を表す重み w を生成する。
• 微分可能な重み付き八点アルゴリズム g(w, C) によって E_hat を回帰する。
• インライア分類損失と essential matrix 損失（L2 または geometry loss）の組み合わせで訓練する。）

実験結果

リサーチクエスチョン

• RQ1 疎な対応関係の置換不変クラスタリングは、局所的な文脈を捉えて外れ値排除を改善できるか？
• RQ2 学習済みの pooling/unpooling の階層と order-aware filtering は、2視点幾何のグローバル文脈をよりよくモデル化できるか？
• RQ3 対応関係のエンドツーエンド微分可能な重み付けは、従来のロバスト法を超えるエッセンシャルマトリックス回帰を改善できるか？
• RQ4 提案されたコンポーネント（DiffPool、DiffUnpool、Order-Aware Filtering）が、屋外および屋内条件下での相対姿勢推定の精度にどのような影響を与えるか？

主な発見

• 提案された DiffPool と Order-Aware DiffUnpool は、canonical order を持つ対応関係をクラスタリングおよびアップサンプリングする学習を可能にし、局所文脈のモデリングを改善する。
• Order-Aware Filtering blocks は、ネットワークの第2レベルにおいて、ベースラインの PointCN blocks よりもグローバル文脈のモデリングを著しく改善する。
• アブレーション研究は、Order-Aware DiffUnpool が顕著な向上を示すことを示し（例：未知シーンで RANSAC を使わない場合、ベースラインに対して 5.23% 改善）。
• PointCN blocks を Order-Aware Filtering blocks に置換すると、未知のシーンで特に効果が向上する。
• 反復的なネットワーク変種と geometry loss はさらなる性能向上をもたらし、屋外データセット (YFCC100M) および屋内データセット (SUN3D) で一貫した改善を示す。
• ベースライン (PointCN, PointNet++, N3Net, DFE) と比較して、本手法は様々な設定で最高の mAP を達成し、未知シーンや RANSAC の有無を含む。