[論文レビュー] Prototype as Query for Few Shot Semantic Segmentation

Leilei Cao, Yibo Guo+2 more|arXiv (Cornell University)|Nov 27, 2022

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本論文は、支援画像のプロトタイプを変換器デコーダー内の条件付きクエリとして扱うことで、クエリ画像内の関連するセマンティック特徴に注目を向ける、新しい少サンプルセマンティックセグメンテーションフレームワークであるProtoFormerを提案する。クエリ特徴をキーおよびバリューとしてモデル化することで、プロトタイプベースやピクセル単位の手法よりも空間的詳細をより効果的に捉えることができ、わずか0.6Mの可学習パラメータでCOCO-20iで最先端の性能を達成した。

ABSTRACT

Few-shot Semantic Segmentation (FSS) was proposed to segment unseen classes in a query image, referring to only a few annotated examples named support images. One of the characteristics of FSS is spatial inconsistency between query and support targets, e.g., texture or appearance. This greatly challenges the generalization ability of methods for FSS, which requires to effectively exploit the dependency of the query image and the support examples. Most existing methods abstracted support features into prototype vectors and implemented the interaction with query features using cosine similarity or feature concatenation. However, this simple interaction may not capture spatial details in query features. To alleviate this limitation, a few methods utilized all pixel-wise support information via computing the pixel-wise correlations between paired query and support features implemented with the attention mechanism of Transformer. These approaches suffer from heavy computation on the dot-product attention between all pixels of support and query features. In this paper, we propose a simple yet effective framework built upon Transformer termed as ProtoFormer to fully capture spatial details in query features. It views the abstracted prototype of the target class in support features as Query and the query features as Key and Value embeddings, which are input to the Transformer decoder. In this way, the spatial details can be better captured and the semantic features of target class in the query image can be focused. The output of the Transformer-based module can be viewed as semantic-aware dynamic kernels to filter out the segmentation mask from the enriched query features. Extensive experiments on PASCAL-$5^{i}$ and COCO-$20^{i}$ show that our ProtoFormer significantly advances the state-of-the-art methods.

研究の動機と目的

• 少サンプルセマンティックセグメンテーションにおける支援画像とクエリ画像間の空間的不一致を解消すること。
• 単純なプロトタイプマッチングやフルピクセルワイドな注目を超えて、クエリ画像と支援画像間の特徴相互作用を向上させること。
• セグメンテーションにおける微細な空間的詳細を保持しつつ、計算コストを低減すること。
• 少ないアノテーション例での未観測クラスにうまく一般化できる、軽量かつ効果的な手法を開発すること。
• 変換器におけるプロトタイプを条件付きクエリとして使用する可能性を、少サンプルセグメンテーションの文脈で探ること。

提案手法

• 本手法は、支援画像からのクラス別プロトタイプを変換器デコーダー内の学習可能なクエリ埋め込みとして扱う。
• クエリ画像からのクエリ特徴が、変換器デコーダーにおけるキーおよびバリューとして使用される。
• 変換器デコーダーの出力は、豊富なクエリ特徴から精錬されたセグメンテーションマスクを微調整するセマンティックに注意を向ける動的カーネルとして機能する。
• フレームワークは、特徴の精錬後に最終的なセグメンテーションマスクを生成するためにピクセルデコーダーモジュールを統合している。
• モデルは、支援画像およびクエリ画像からの特徴抽出に共通のバックボーン（例：ResNet50）を使用している。
• アーキテクチャは、セグメンテーションの監視に交差エントロピー損失およびDice損失を用いて、エンドツーエンドで学習可能である。

実験結果

リサーチクエスチョン

• RQ1 支援画像のプロトタイプを変換器デコーダー内のクエリとして扱うことで、支援画像とクエリ画像間の特徴整合性が向上するか？
• RQ2 このクエリベースの注目メカニズムは、従来のプロトタイプマッチングやフルピクセルワイドな注目よりも、少サンプルセマンティックセグメンテーションで優れた性能を発揮するか？
• RQ3 提案手法は、既存の手法と比較して顕著に少ないパラメータ数で最先端の性能を達成できるか？
• RQ4 モデルの性能は、変換器デコーダーの層数や特徴チャネル数の変化に対してどれほど感受性を示すか？
• RQ5 プロトタイプをクエリとして使用するメカニズムは、COCO-20iのような複雑で多様なデータセットにおいて一般化能力を向上させるか？

主な発見

• ProtoFormerはCOCO-20iで新たな最先端性能を達成し、ResNet101バックボーン下で1ショットおよび5ショットセグメンテーションにおいてDCAMAをそれぞれ3.5%および2.8%上回った平均mIoUを達成した。
• PASCAL-5iでは、1ショットおよび5ショット設定において、それぞれ0.9%および1.0%の平均mIoU向上を達成し、追加パrameterがたった0.03Mにとどまった。
• わずか0.6Mの可学習パラメータでSOTA結果を達成したため、DCAMAと比較して顕著なパラメータ効率性を示した。
• アブレーションスタディの結果、モデルは変換器デコーダーの層数に対して頑健であり、1層でもすでに最適な性能を発揮した。
• PASCAL-5iの困難なフォールドでも強力な性能を維持し、COCO-20iへの一般化能力も優れており、強力な一般化能力を示した。
• 定性的な結果から、ProtoFormerは背景を前景として誤分類するのを低減し、境界の局所化を従来手法よりも改善した。