[論文レビュー] Semantic Correspondence with Transformers.

Seokju Cho, Sunghwan Hong+4 more|arXiv (Cornell University)|Jun 4, 2021

Advanced Neural Network Applications被引用数 8

ひとこと要約

本稿では、自己注意機構を用いてグローバルなコンテキストをモデル化し、顕著な外見的・幾何的変化に対しても頑健性を向上させる、新しいトランスフォーマーに基づく密なセマンティック対応ネットワークであるCost Aggregation with Transformers (CATs) を提案する。外見的類似度モデリング、マルチレベル特徴統合、スワッピング自己注意、リプルス接続を統合することで、CATsは、大規模な変形を伴う状況下でも、従来のCNNベースおよび手作業で設計された手法に比べ、対応精度と一般化性能において優れた性能を示す。

ABSTRACT

We propose a novel cost aggregation network, called Cost Aggregation with Transformers (CATs), to find dense correspondences between semantically similar images with additional challenges posed by large intra-class appearance and geometric variations. Compared to previous hand-crafted or CNN-based methods addressing the cost aggregation stage, which either lack robustness to severe deformations or inherit the limitation of CNNs that fail to discriminate incorrect matches due to limited receptive fields, CATs explore global consensus among initial correlation map with the help of some architectural designs that allow us to exploit full potential of self-attention mechanism. Specifically, we include appearance affinity modelling to disambiguate the initial correlation maps and multi-level aggregation to benefit from hierarchical feature representations within Transformer-based aggregator, and combine with swapping self-attention and residual connections not only to enforce consistent matching, but also to ease the learning process. We conduct experiments to demonstrate the effectiveness of the proposed model over the latest methods and provide extensive ablation studies. Code and trained models will be made available at this https URL.

研究の動機と目的

• 大規模なクラス内外見的・幾何的変化に対処する際の、手作業で設計された手法およびCNNベースのコスト集約手法の限界を解消すること。
• 自己注意機構によるグローバルコンテキストの活用により、重度の変形および誤ったマッチングに対しても頑健性を向上させること。
• トランスフォーマーに基づくアグレゲーター内でマルチレベル階層的特徴を統合することで、特徴表現を向上させること。
• スワッピング自己注意とリプルス接続を用いて、画像間の一致を一貫性を持たせ、訓練の安定化とアライメントの向上を図ること。

提案手法

• マルチヘッド自己注意を用いて初期相関マップ内の長距離依存関係をモデル化するトランスフォーマーに基づくコスト集約モジュールを採用する。
• 特徴間の意味的類似度を測定することで初期相関マップを精緻化するため、外見的類似度モデリングを導入する。
• 異なるネットワーク段階からの階層的表現を活用するため、マルチレベル特徴統合を実装する。
• マッチングペア間の双方向的一致性を強制するためにスワッピング自己注意を用い、アライメントの信頼性を向上させる。
• 最適化の容易化と深層トランスフォーマー構造における訓練の安定化を図るため、リプルス接続を統合する。
• すべてのモジュールをエンドツーエンド学習可能なフレームワークに統合する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーに基づくコスト集約モジュールは、CNNベースおよび手作業で設計された手法に比べ、大規模な外見的・幾何的変化に対処する際に優れた性能を示せるか？
• RQ2 外見的類似度モデリングは、曖昧な領域における正しいマッチングと誤ったマッチングの区別を高めるために、初期相関マップの精緻化にどの程度効果的か？
• RQ3 マルチレベル特徴統合は、複雑な変化を伴う対応タスクにおいて、どの程度性能向上に寄与するか？
• RQ4 標準の自己注意と比較して、スワッピング自己注意はマッチングの一貫性と頑健性を向上させるか？
• RQ5 リプルス接続は、提案されたトランスフォーマーに基づくアーキテクチャにおいて、訓練の安定性と収束性にどのように寄与するか？

主な発見

• CATsは、密なセマンティック対応のベンチマークデータセットにおいて最先端の性能を達成し、クラス内変動が著しい状況下でも優れた一般化性能を示した。
• 外見的類似度モデリングの統合により、曖昧な領域における正しいマッチングと誤ったマッチングの区別が顕著に向上した。
• マルチレベル統合により、特に複雑な変形を伴う領域において、より頑健な特徴表現が得られた。
• スワッピング自己注意により双方向的一致性が向上し、一貫性のない予測が減少し、マッチングの信頼性が向上した。
• リプルス接続は、深層トランスフォーマー構造における安定した訓練と高速な収束に寄与した。
• 広範なアブレーションスタディにより、各モジュールの有効性が確認され、全CATsモデルがすべての評価指標でアブレーションバリアントを上回った。