[論文レビュー] COTR: Correspondence Transformer for Matching Across Images

Wei Jiang, Eduard Trulls+3 more|arXiv (Cornell University)|Mar 25, 2021

Advanced Vision and Imaging参考文献 72被引用数 8

ひとこと要約

COTRは、多スケール推論と自己注意機構を活用して局所的およびグローバルな事前知識をモデル化する、変換器ベースの対応ネットワークを導入し、関数的マッピングを介して画像間のスパarsaまたは密な対応を予測する。再訓練を必要とせず、幅広いタスク—ワイドベースラインステレオ、オプティカルフロー、オブジェクト中心のシーン—で最先端の性能を達成する。

ABSTRACT

We propose a novel framework for finding correspondences in images based on a deep neural network that, given two images and a query point in one of them, finds its correspondence in the other. By doing so, one has the option to query only the points of interest and retrieve sparse correspondences, or to query all points in an image and obtain dense mappings. Importantly, in order to capture both local and global priors, and to let our model relate between image regions using the most relevant among said priors, we realize our network using a transformer. At inference time, we apply our correspondence network by recursively zooming in around the estimates, yielding a multiscale pipeline able to provide highly-accurate correspondences. Our method significantly outperforms the state of the art on both sparse and dense correspondence problems on multiple datasets and tasks, ranging from wide-baseline stereo to optical flow, without any retraining for a specific dataset. We commit to releasing data, code, and all the tools necessary to train from scratch and ensure reproducibility.

研究の動機と目的

• スパarsa対応と密対応手法の間のギャップを埋めるために、同一の微分可能フレームワークで両者を統合すること。
• 任意のクエリポイントに対して正確な対応予測を可能にし、スパarsaおよび密推論を両立すること。
• 3次元ジオメトリに起因する不連続性を含む複雑な対応パターンを、注意機構を用いてモデル化すること。
• 反復的精錬を通じて局所化精度を向上させる、再帰的なマルチスケール推論戦略を開発すること。
• ファインチューニングやアーキテクチャ変更なしに、データセットやタスクの一般化を実証すること。

提案手法

• COTRは、対応を関数的マッピングとして定式化する：$ x' = \mathcal{F}_{\Phi}(x \mid I, I') $、ここで$ \mathcal{F}_{\Phi} $は、最初の画像内のクエリポイント$ x $が与えられたとき、2番目の画像内の対応点$ x' $を予測する変換器ベースのネットワークである。
• クエリ位置と画像特徴の間のクロスアテンションを用いることで、関連するグローバルおよびローカルな文脈に注目し、大規模な変位や複雑な運動に対処できる。
• 推論段階で再帰的なズームイン機構を適用する：モデルは予測された対応周辺の小さな領域に注目することで、段階的に精度を向上させる。
• 予測された対応と真値の間のエンドツーエンドピクセル誤差（EPE）を最小化する微分可能な損失関数を用いて学習する。
• 予測後に低信頼度の対応を除去するフィルタリング機構を適用し、密補間の品質を向上させる。
• 変換器を多層パーセプトロン（MLP）に置き換えることでアーキテクチャをアブレーションし、不連続な対応をモデル化するための注目機構の必要性を示している。

実験結果

リサーチクエスチョン

• RQ1 同じ深層学習フレームワークが、アーキテクチャや学習再設定なしに、スパarsaおよび密対応タスクを効果的に処理できるか。
• RQ2 変換器における自己注意機構は、完全結合型やMLPベースのモデルと比較して、幾何的不連続性が存在する状況でも、対応推定をどのように改善するか。
• RQ3 再帰的なマルチスケール精錬戦略が、対応予測の精度をどの程度向上させるか。
• RQ4 ファインチューニングなしに、マルチオブジェクト運動やオブジェクトポーズの変化などの未知のデータセットや運動タイプに一般化できるか。
• RQ5 低信頼度の対応をフィルタリングすることで、密対応マップの品質にどのような影響を与えるか。

主な発見

• COTRは、再訓練なしにHPatches、KITTI、ETH3D、IMC2020の各データセットにおいて、スパarsaおよび密対応タスクで最先端の性能を達成した。
• HPatchesデータセットでは、512入力マッチのみでSuperGlue（2kキーポイント部門優勝者）を上回り、256マッチでDISK（準優勝者）を上回った。
• 再帰的ズームイン戦略により、エンドツーエンドピクセル誤差（EPE）が顕著に低減され、誤差分布は左にシフトし、高スケールでの集中度が高まった。
• アブレーションスタディでは、変換器をMLPに置き換えると、全体的に滑らかではあるが、特にオブジェクト境界で幾何的に不正確な予測が得られることを示した。
• ETH3Dでは、悪い対応をフィルタリングすることでAEPEが約5%相対的に改善され、平均で1.2%の予測が除去された。
• 定性的な結果から、COTRはオブジェクトの入れ替えや非平面な3次元構造といった複雑な運動を効果的に捉えているのに対し、GLU-Netなどのベースラインは失敗している。