[論文レビュー] Self-Calibrated Cross Attention Network for Few-Shot Segmentation

Qianxiong Xu, Wenting Zhao+2 more|arXiv (Cornell University)|Aug 18, 2023

Advanced Neural Network Applications被引用数 5

ひとこと要約

本稿では、少数ショット画像セグメンテーションのための自己キャリブレーションクロスアテンションネットワーク（SCCAN）を提案する。新規の自己キャリブレーションクロスアテンション（SCCA）モジュールを導入し、パッチベースの自己アテンションおよびクロスアテンションを用いて、クエリ特徴とアライメント済みサポート特徴を統合することで、背景不一致とフォアグラウンド・バックグラウンドの混合を軽減する。本手法は最先端の性能を達成し、5ショット設定下でCOCO-20iで前人最高（SOTA）を5.6%上回るmIoUを達成した。

ABSTRACT

The key to the success of few-shot segmentation (FSS) lies in how to effectively utilize support samples. Most solutions compress support foreground (FG) features into prototypes, but lose some spatial details. Instead, others use cross attention to fuse query features with uncompressed support FG. Query FG could be fused with support FG, however, query background (BG) cannot find matched BG features in support FG, yet inevitably integrates dissimilar features. Besides, as both query FG and BG are combined with support FG, they get entangled, thereby leading to ineffective segmentation. To cope with these issues, we design a self-calibrated cross attention (SCCA) block. For efficient patch-based attention, query and support features are firstly split into patches. Then, we design a patch alignment module to align each query patch with its most similar support patch for better cross attention. Specifically, SCCA takes a query patch as Q, and groups the patches from the same query image and the aligned patches from the support image as K&V. In this way, the query BG features are fused with matched BG features (from query patches), and thus the aforementioned issues will be mitigated. Moreover, when calculating SCCA, we design a scaled-cosine mechanism to better utilize the support features for similarity calculation. Extensive experiments conducted on PASCAL-5^i and COCO-20^i demonstrate the superiority of our model, e.g., the mIoU score under 5-shot setting on COCO-20^i is 5.6%+ better than previous state-of-the-arts. The code is available at https://github.com/Sam1224/SCCAN.

研究の動機と目的

• クエリとサポート特徴を統合する際、背景不一致とフォアグラウンド・バックグラウンドの混合に苦しむ既存の少数ショットセグメンテーション手法の限界を是正すること。
• プロトタイプの圧縮を避ける代わりに、アライメント済みサポート特徴とのクロスアテンションを用いることで、空間的詳細を保持すること。
• クエリ特徴内の自己アテンションとサポート特徴とのクロスアテンションを同時に活用することで、特徴統合を強化すること。
• 疑似マスク集約モジュールとスケーリングコサイン機構によるアテンションスコア計算を用いて、少数ショットセグメンテーションのロバスト性と正確性を向上させること。

提案手法

• SCCAブロックはクエリおよびサポート特徴をパッチに分割し、各クエリパッチがフォアグラウンドピクセルを含む最も類似したサポートパッチとマッチングするパッチアライメントモジュールを用いる。
• SCCAはクエリパッチにおける自己アテンションと、クエリパッチとアライメント済みサポートパッチ間のクロスアテンションを計算し、同じクエリ画像からの背景特徴が一致した背景特徴と統合されるようにする。
• クエリとサポート特徴間の類似性計算を強化するため、スケーリングコサイン機構を導入し、クロスアテンションにおけるサポート特徴の有効活用を促進する。
• 疑似マスク集約（PMA）モジュールは、すべてのペアワイズ類似度スコアを集約することで、最大類似度のみを用いる手法よりもノイズに強いクエリマスクを生成する。
• 完全なSCCANモデルは、メモリ効率の良いSwin変換器バックボーンとSCCAブロックを統合し、計算コストを低減したパッチベースのアテンションを効率的に行う。
• モデルは、学びの学び（learning-to-learn）パラダイムに従い、エンドツーエンドで訓練され、推論時に最小限のアノテーション付き例で新しいクラスに適応する。

実験結果

リサーチクエスチョン

• RQ1 クエリの背景特徴に該当するサポート特徴が存在しない場合、少数ショットセグメンテーションにおける背景不一致をどのように低減できるか？
• RQ2 自己キャリブレーションクロスアテンションは、特徴統合中にフォアグラウンド・バックグラウンドの混合をどの程度軽減できるか？
• RQ3 パッチベースのアライメントとスケーリングコサインアテンションは、少数ショットセグメンテーションにおけるクロスアテンションの品質をどのように向上させるか？
• RQ4 ノイズの多いアテンションスコアに対して、提案された疑似マスク集約モジュールは、既存手法と比較してどの程度ロバスト性に優れているか？
• RQ5 分類精度を最大化するためのパッチサイズとSCCAブロック数の最適な設定は何か？

主な発見

• 提案されたSCCANモデルは、5ショット設定下でCOCO-20iデータセットにおいて、前人最高（SOTA）を5.6%上回るmIoU 67.0%を達成した。
• 1ショット設定下のPASCAL-5iでは67.0%のmIoUを達成し、アブレーションスタディにより、PMA、PA、SCの各モジュールが性能向上に段階的に寄与していることが示された。
• パッチアライメントモジュールは、ベースラインSCCAに比べてmIoUを0.5%向上させ、局所的アテンション計算における誤マッチング問題を軽減した。
• スケーリングコサイン機構により、注意スコアマップの可視化から、関連するサポート特徴への注目が強化され、特徴の有効活用が向上した。
• SCCAの最適パッチサイズは8であり、PASCAL-5iおよびCOCO-20iの両方で最高のmIoUを達成した。一方、8個のSCCAブロックがmIoUおよびFB-IoUの観点で最良の性能を示した。
• 1つのクエリ-サポートペアにおける推論に480.9 GFLOPsの計算コストしかかからず、実用的な実装可能性を示した。