[論文レビュー] Integrative Feature and Cost Aggregation with Transformers for Dense Correspondence

Sunghwan Hong, Seokju Cho+2 more|arXiv (Cornell University)|Sep 19, 2022

Advanced Image and Video Retrieval Techniques被引用数 4

ひとこと要約

本論文は、密な対応を向上させるために、特徴記述子とコストボリュームを補完的で入れ違いの形で統合的に集約する、新しいTransformerベースのアーキテクチャであるIFCATを提案する。自己注意を用いてノイズの多いコストボリュームのガイドにより特徴を精緻化し、クロス注意を用いて双方向の特徴およびコストの監視によりマッチングを強化することで、SPair-71k、PF-PASCAL、PF-WILLOW、HPatchesの主要ベンチマークで最先端の性能を達成した。SPair-71kでは64.4%、HPatchesでは17.59 AEPEを記録した。

ABSTRACT

We present a novel architecture for dense correspondence. The current state-of-the-art are Transformer-based approaches that focus on either feature descriptors or cost volume aggregation. However, they generally aggregate one or the other but not both, though joint aggregation would boost each other by providing information that one has but other lacks, i.e., structural or semantic information of an image, or pixel-wise matching similarity. In this work, we propose a novel Transformer-based network that interleaves both forms of aggregations in a way that exploits their complementary information. Specifically, we design a self-attention layer that leverages the descriptor to disambiguate the noisy cost volume and that also utilizes the cost volume to aggregate features in a manner that promotes accurate matching. A subsequent cross-attention layer performs further aggregation conditioned on the descriptors of both images and aided by the aggregated outputs of earlier layers. We further boost the performance with hierarchical processing, in which coarser level aggregations guide those at finer levels. We evaluate the effectiveness of the proposed method on dense matching tasks and achieve state-of-the-art performance on all the major benchmarks. Extensive ablation studies are also provided to validate our design choices.

研究の動機と目的

• 特徴集約またはコスト集約のいずれかしか行わない既存のTransformerベースの密な対応手法の限界を解消すること。
• 特徴記述子（意味的・構造的文脈）とコストボリューム（ピクセル単位のマッチング類似度）の補完的強みを活用し、マッチング精度を向上させること。
• 自己注意およびクロス注意の階層的レイヤーを交互に配置することで、特徴とコストボリュームの相互強化を可能にする共同集約メカニズムを設計すること。
• 粗いレベルの出力が細かいレベルの集約をガイドする階層的処理により、性能を向上させること。
• 幾何的および意味的マッチングタスクの両方において、複数の標準ベンチマークで新たな最先端性能を確立すること。

提案手法

• 特徴記述子を用いてノイズの多いコストボリュームを解消し、マッチング類似度を組み込むことでコストボリュームが特徴集約をガイドする自己注意レイヤーを提案する。
• 両方の画像からの特徴記述子に条件づけられたクロス注意レイヤーを導入し、以前のレイヤーからの集約済み特徴およびコストボリュームを支援として用いることで、表現をさらに精緻化する。
• 自己注意およびクロス注意ブロックを交互に配置することで、特徴とコストボリュームの反復的精緻化および相互強化を可能にする。
• 粗いレベルの特徴およびコストボリュームの出力が、その後続の細かいレベルの集約をガイドする階層的処理を実装する。
• 計算効率を維持しながら高い性能を達成できるアーキテクチャを設計し、深さと効率性の指標に関する消去実験を実施する。
• マッチングベンチマークにおけるAEPEおよびbbox精度を最適化する学習可能損失関数を用いて、モデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 Transformerベースのフレームワークにおいて、特徴記述子とコストボリュームを共同で集約することで、逐次的または独立的な処理を越えて密な対応性能が向上するか？
• RQ2 自己注意およびクロス注意による特徴とコストボリューム情報の統合が、マッチング精度および耐性をどのように向上させるか？
• RQ3 階層的処理が、密な対応における統合的集約の性能にどの程度寄与するか？
• RQ4 自己注意、クロス注意、および階層的設計といった各アーキテクチャ的要素が、最終的な性能向上に果たす寄与度はどの程度か？
• RQ5 多様なベンチマークにおいて、本手法は既存の最先端手法と比較して、精度および効率の両面で優れているか？

主な発見

• IFCATは、SPair-71kで64.4%（α_bbox = 0.1）およびHPatchesで17.59 AEPEを達成し、評価されたすべてのベンチマークで新たな最先端性能を確立した。
• 消去実験の結果、特徴のみまたはコストボリュームのみを集約すると性能向上が限定的（例：特徴自己注意のみではSPair-71kで36.1%）であるが、共同集約により顕著な向上が見られた。
• 統合的自己注意レイヤー（SPair-71kで54.7%）とその後続のクロス注意（58.5%）が段階的に性能を向上させ、補完的情報フローの価値を示した。
• 階層的処理により、SPair-71kでは58.5%から64.4%へ、HPatchesでは24.41から17.59 AEPEへと性能が向上し、粗いレベルから細かいレベルへのガイドの有効性が確認された。
• 注意ブロックの深さ（N）を増やすことで性能が単調に向上（例：SPair-71kで55.4%から64.7%）したが、メモリおよび実行時間コストも増加した。
• 独立して使用した場合、2段階RANSACベースの手法よりもHPatchesで優れた性能を示し、ホモロジー推定に依存せずに優れた一般化性能を発揮した。