[論文レビュー] Neural Matching Fields: Implicit Representation of Matching Fields for Visual Correspondence

Sunghwan Hong, Jisu Nam+5 more|arXiv (Cornell University)|Oct 6, 2022

Advanced Image and Video Retrieval Techniques被引用数 4

ひとこと要約

Neural Matching Fields (NeMF) は、畳み込みと自己注意機構を用いたコスト埋め込みネットワークを活用し、完全接続層のネットワークが詳細な対応関係を学習するのを支援することで、高精度なセマンティック対応を実現する4次元マッチングフィールドの暗黙的ニューラル表現を提案する。本手法は、PatchMatchに基づくサンプリングと座標最適化を組み合わせたテスト時最適化により、高解像度での推論を可能にし、手動で設計された補間法に比べて局所化精度が向上する標準ベンチマークで最先端の性能を達成する。

ABSTRACT

Existing pipelines of semantic correspondence commonly include extracting high-level semantic features for the invariance against intra-class variations and background clutters. This architecture, however, inevitably results in a low-resolution matching field that additionally requires an ad-hoc interpolation process as a post-processing for converting it into a high-resolution one, certainly limiting the overall performance of matching results. To overcome this, inspired by recent success of implicit neural representation, we present a novel method for semantic correspondence, called Neural Matching Field (NeMF). However, complicacy and high-dimensionality of a 4D matching field are the major hindrances, which we propose a cost embedding network to process a coarse cost volume to use as a guidance for establishing high-precision matching field through the following fully-connected network. Nevertheless, learning a high-dimensional matching field remains challenging mainly due to computational complexity, since a naive exhaustive inference would require querying from all pixels in the 4D space to infer pixel-wise correspondences. To overcome this, we propose adequate training and inference procedures, which in the training phase, we randomly sample matching candidates and in the inference phase, we iteratively performs PatchMatch-based inference and coordinate optimization at test time. With these combined, competitive results are attained on several standard benchmarks for semantic correspondence. Code and pre-trained weights are available at https://ku-cvlab.github.io/NeMF/.

研究の動機と目的

• 低解像度のマッチングフィールドと手動で設計された補間法に依存する既存のセマンティック対応手法の性能制限を克服すること。
• 高次元の4次元マッチングフィールドの学習と推論における高い計算複雑性と非実行可能性を克服すること。
• 暗黙的ニューラル表現を用いて、元の画像解像度で高解像度かつ高精度な対応予測を実現すること。
• 4次元マッチングフィールドの複雑さと次元数に対処できる効率的なトレーニングおよび推論パイプラインを設計すること。
• コスト埋め込みとテスト時最適化が対応精度の向上に寄与する有効性を検証すること。

提案手法

• 粗いコストボリュームから局所的およびグローバルなコンテキストを抽出するため、畳み込み層と自己注意層を組み合わせたコスト埋め込みネットワークを提案し、暗黙的マッチングフィールドの学習を構造的にガイドする。
• 任意の解像度で4次元マッチングフィールドを暗黙的に表現するため、完全接続層のニューラルネットワークを採用し、連続的かつ高精度な対応予測を可能にする。
• 全推論をトレーニング中に実行しないようにするため、マッチング候補をランダムにサンプリングし、対応の正しさでネットワークを監視する、サンプリングベースのトレーニング戦略を採用する。
• テスト時最適化手順を導入し、PatchMatchに基づく探索空間のサンプリングと反復的座標最適化を組み合わせて、推論中に予測を精緻化する。
• 探索（PatchMatchに類似したサンプリング）と活用（座標最適化）を交互に実行することで、テスト時における対応精度を段階的に向上させる。
• 解像度に応じた設計により、メモリ使用量と推論時間を制御し、高解像度でも効率的な推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 暗黙的ニューラル表現は、セマンティック対応のための高次元4次元マッチングフィールドを効果的にモデル化できるか？
• RQ2 コストボリューム特徴量を効果的に埋め込む方法は何か？ これにより、高精度なマッチングフィールド学習がどのように支援されるか？
• RQ3 サンプリングベースのトレーニングとテスト時最適化が、4次元マッチングフィールド推論の計算的非実行性を同時に克服できるか？
• RQ4 提案手法は、標準ベンチマークで手動補間法や先行の暗黙的・明示的マッチング手法を上回る性能を発揮するか？
• RQ5 コスト埋め込み部とテスト時最適化が最終的な対応精度に与える影響は何か？

主な発見

• NeMF は標準的なセマンティック対応ベンチマークで最先端の性能を達成し、双線形補間やTPS補間を用いる手法を顕著に上回る。
• 提案されたテスト時最適化戦略（PatchMatch + 座標最適化）により、1つのGPU上で推論時間を30万秒を超える全探索から9秒未満に短縮した一方で、精度も向上した。
• CHM や CATs などの先行手法とは異なり、128×128解像度で6,309 MBのメモリ消費量に抑えられ、他の手法がOOM（メモリ不足）となるのに対し、高解像度でのメモリ消費量を削減した。
• アブレーションスタディにより、コスト埋め込みネットワークとテスト時最適化の両方が性能向上に不可欠であることが確認され、後者はベースライン推論に比べて20%以上の精度向上を示した。
• 計算制約がある中でも、全ボリューム推論を伴わないトレーニング戦略により、安定した学習が可能となり、高解像度でのトレーニングが現実可能になった。
• 複数のデータセットにわたって高い性能を維持し、クラス内変動や幾何的歪みに対しても頑健であることが示された。