[論文レビュー] Mask Matching Transformer for Few-Shot Segmentation

Siyu Jiao, Gengwei Zhang+5 more|arXiv (Cornell University)|Dec 5, 2022

Advanced Neural Network Applications被引用数 20

ひとこと要約

MM-Formerは、まず照会画像のクラス非依存マスク提案を生成し、次にサポートを用いたマスクレベルの少数対少数マッチングを実行して最終セグメンテーションを得ることで、セグメンテーションとマッチングを分離します。これにより、訓練の複雑さを低く抑えつつ、強い転移性を実現します。

ABSTRACT

In this paper, we aim to tackle the challenging few-shot segmentation task from a new perspective. Typical methods follow the paradigm to firstly learn prototypical features from support images and then match query features in pixel-level to obtain segmentation results. However, to obtain satisfactory segments, such a paradigm needs to couple the learning of the matching operations with heavy segmentation modules, limiting the flexibility of design and increasing the learning complexity. To alleviate this issue, we propose Mask Matching Transformer (MM-Former), a new paradigm for the few-shot segmentation task. Specifically, MM-Former first uses a class-agnostic segmenter to decompose the query image into multiple segment proposals. Then, a simple matching mechanism is applied to merge the related segment proposals into the final mask guided by the support images. The advantages of our MM-Former are two-fold. First, the MM-Former follows the paradigm of decompose first and then blend, allowing our method to benefit from the advanced potential objects segmenter to produce high-quality mask proposals for query images. Second, the mission of prototypical features is relaxed to learn coefficients to fuse correct ones within a proposal pool, making the MM-Former be well generalized to complex scenarios or cases. We conduct extensive experiments on the popular COCO-$20^i$ and Pascal-$5^i$ benchmarks. Competitive results well demonstrate the effectiveness and the generalization ability of our MM-Former.

研究の動機と目的

• 既存の少数-shot セグメンテーション手法における共同学習の高い計算量と柔軟性の制限に対処する。
• セグメンテーション（POS）とマッチング（MM）を分離する二段階の枠組みを提案し、単純で効果的なマスクレベルのマッチングを実現する。
• クラス非依存のマスク提案生成器を活用して、クエリマスクの品質とデータセット間の頑健性を向上させる。
• マスク中心のパラダイムを通じて、データセット間の一般化と転送可能性を改善する（例：COCO から Pascal へ）。

提案手法

• Stage 1: Potential Objects Segmenter (POS) は、固定されたバックボーンから抽出された特徴からクエリ画像の複数のクラス非依存マスク提案を予測するため、Mask2Former に着想を得たトランスフォーマデコーダを用いる。
• Stage 2: Mask Matching Module (MM) は、Feature Alignment Block（Self-Alignment および Cross-Alignment）を介してクエリとサポートの特徴を整列させ、次に Learnable Mask Matching を実行してマスク提案を最終セグメンテーションへと融合する。
• Feature Alignment Block は、Self-Alignment 非パラメトリックチャネルごとの正規化と、サポートとクエリの特徴を整列させるために共有トランスフォーマを用いたCross-Alignmentブロックを含む。
• プロトタイプは、整列された特徴からマスク付きグローバル平均プーリングによって作成される。サポートのプロトタイプとクエリのマスク提案とのコサイン類似度が Learnable Matching Block を導き、マスクを統合する。
• POS 提案には Dice loss が用いられる（Hungarian matching 経由）、MM には Dice loss に加えて cross-alignment contrastive loss が用いられる。POS 学習と MM 学習を分離した二段階の学習戦略は結合を弱め、訓練の複雑さを低減する。

実験結果

リサーチクエスチョン

• RQ1 セグメンテーションとマッチングを分離することで、少数-shot セグメンテーションの性能と訓練効率を向上させることができるか？
• RQ2 マスクレベル（少数対少数）マッチングを備えた二段階の POS+MM フレームワークは、従来の few-shot の few-to-many アプローチよりデータセット間の一般化性を高めるか？
• RQ3 特徴整列と学習可能なマスクマッチングは、少数-shot 設定におけるセグメンテーション品質と頑健性の向上にどう寄与するか？
• RQ4 大規模データセット（COCO）で訓練し、小規模データセット（Pascal）で評価した場合の MM-Former の転送性は、直接 Pascal で訓練する場合と比べてどうか？

主な発見

• MM-Former は COCO-20i で最先端モデルと競合する成果を達成し、COCO から Pascal-5i への強い転送性を示す。
• 二段階の学習戦略（POS のみ、次に MM）は、結合的なエンドツーエンド訓練よりも性能と訓練効率を大幅に向上させる。
• 特徴整列（Self および Cross）は性能を大幅に向上させ、学習可能なクロスアライメントが成果の要は不可欠である。
• 学習可能なマスクマッチングブロックを用いて複数のマスク提案を融合することは、単純なコサイン類似度ベースの選択よりも優れており、平均 IoU を向上させる。
• POS におけるマスク提案の数を増やすと、上限の高い結果（オラクルポテンシャル）を得られ、新しいマスクマッチングのパラダイムにはさらなる改善の余地があることを示す。