[論文レビュー] Self-Support Few-Shot Semantic Segmentation

Qi Fan, Wenjie Pei+2 more|arXiv (Cornell University)|Jul 23, 2022

Advanced Neural Network Applications被引用数 6

ひとこと要約

本論文では、自己支援少ショットセマンティックセグメンテーション（SSP）を提案する。これは、照合に使用する自己支援プロトタイプを照合特徴から生成することで、クラス内外観差を低減し、少ショットセマンティックセグメンテーションの性能を向上させる新規手法である。Pascal VOCおよびFSS-1000で最先端の性能を達成し、5ショット設定でPascal VOCで68.8%のmIoU、FSS-1000で88.6%のmIoUを記録し、従来手法に比べ顕著な向上を示している。

ABSTRACT

Existing few-shot segmentation methods have achieved great progress based on the support-query matching framework. But they still heavily suffer from the limited coverage of intra-class variations from the few-shot supports provided. Motivated by the simple Gestalt principle that pixels belonging to the same object are more similar than those to different objects of same class, we propose a novel self-support matching strategy to alleviate this problem, which uses query prototypes to match query features, where the query prototypes are collected from high-confidence query predictions. This strategy can effectively capture the consistent underlying characteristics of the query objects, and thus fittingly match query features. We also propose an adaptive self-support background prototype generation module and self-support loss to further facilitate the self-support matching procedure. Our self-support network substantially improves the prototype quality, benefits more improvement from stronger backbones and more supports, and achieves SOTA on multiple datasets. Codes are at \url{https://github.com/fanq15/SSP}.

研究の動機と目的

• 少ショットのサポート画像におけるクラス内変動のカバー不足が引き起こす少ショットセマンティックセグメンテーションの限界を解消すること。
• 照合特徴を活用してより代表的なプロトタイプを生成することで、サポート画像と照合画像間の外観差を低減すること。
• 高信頼度の照合予測から得られる一貫したオブジェクト特徴を捉える自己支援マッチングを導入し、セグメンテーション精度を向上させること。
• 適応的バックグラウンドプロトタイプ生成と自己支援損失を導入し、さらにセグメンテーション性能を最適化すること。

提案手法

• 高信頼度領域の初期照合予測から生成される照合プロトタイプを用いて、照合特徴をマッチングする自己支援マッチング戦略を提案する。これにより、照合自体から自己支援が可能になる。
• 各照合ピクセルごとに類似するバックグラウンドピクセルを動的に集約する、適応的自己支援バックグラウンドプロトタイプ（ASBP）モジュールを導入し、ごみだらけのシーンにおけるバックグラウンドセグメンテーションを向上させる。
• 自己支援マッチングプロセスを最適化するための自己支援損失（SSL）を採用し、特徴の一貫性とセグメンテーション品質を向上させる。
• 学習可能な重み（α₁=0.5, α₂=0.2, α₃=0.3）を用いて、元のサポートプロトタイプ、自己支援プロトタイプ、および精錬された自己支援プロトタイプを統合してプロトタイプを精錬する。
• 重み付き融合（β₁=0.3, β₂=0.7）を用いて初期予測と精錬されたマッチング出力を統合し、最終的なセグメンテーションマスクを改善する。
• 精錬されたプロトタイプと照合特徴のコサイン類似度を用いて、最終的なセグメンテーション予測を生成する。

実験結果

リサーチクエスチョン

• RQ1 照合特徴を用いて、固定されたサポートプロトタイプよりもクラス内変動をよりよく捉える代表的なプロトタイプを生成できるか？
• RQ2 照合から生成されたプロトタイプに基づく自己支援マッチングは、従来のサポート-照合マッチングと比較して、外観差をどのように効果的に処理できるか？
• RQ3 適応的バックグラウンドプロトタイプ生成は、グローバルなバックグラウンド意味が一貫しない複雑でごみだらけのシーンにおけるセグメンテーションをどのように改善できるか？
• RQ4 自己支援損失は、プロトタイプ品質とセグメンテーション精度をどの程度向上させるか？
• RQ5 自己支援フレームワークは、より強力なバックボーンやより多くのサポートショットにおいて、どのようにスケーラブルか？

主な発見

• 提案されたSSP手法は、5ショット設定のPascal VOCで68.8%のmIoUを達成し、ベースラインから+4.0%の向上を示した。
• FSS-1000データセットでは、5ショット設定で88.6%のmIoUに到達し、従来の最先端手法を上回った。
• 自己支援精錬ステップにより、FSS-1000の5ショット設定でさらにmIoUが88.6%に向上し、反復的プロトタイプ精錬の有効性を示した。
• より強力なバックボーン（例：ResNet-101）や高いサポートショット数において、性能向上が顕著に見られ、スケーラビリティが裏付けられた。
• 定性的な結果では、猫の色やスケールが大きく異なるような、サポート画像と照合画像の外観差が大きいオブジェクトのセグメンテーションにおいて顕著な改善が確認された。
• 自己支援マッチング機構により、サポート画像と照合画像の視覚的類似度が低くても、より一貫したプロトタイプを捉えることができ、オブジェクト全体を正しくセグメンテーションできた。