[論文レビュー] Dual Prototypical Contrastive Learning for Few-shot Semantic Segmentation

Hyeongjun Kwon, Somi Jeong+2 more|ArXiv.org|Nov 9, 2021

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

本稿では、少数ショットセマンティックセグメンテーションのためのデュアルプロトタイプ的対照学習（DPCL）を提案する。クラス固有の対照的損失とクラスに依存しない対照的損失を同時に最適化することで、クラス間分離性とクラス内コンパクト性を向上させ、特徴表現を強化する。本手法は、追加のデコーダーモジュールを必要とせず、PASCAL-5iおよびCOCO-20iベンチマークで最先端の性能を達成し、1ショット設定において最大10.5%のmIoU向上を達成した。

ABSTRACT

We address the problem of few-shot semantic segmentation (FSS), which aims to segment novel class objects in a target image with a few annotated samples. Though recent advances have been made by incorporating prototype-based metric learning, existing methods still show limited performance under extreme intra-class object variations and semantically similar inter-class objects due to their poor feature representation. To tackle this problem, we propose a dual prototypical contrastive learning approach tailored to the FSS task to capture the representative semanticfeatures effectively. The main idea is to encourage the prototypes more discriminative by increasing inter-class distance while reducing intra-class distance in prototype feature space. To this end, we first present a class-specific contrastive loss with a dynamic prototype dictionary that stores the class-aware prototypes during training, thus enabling the same class prototypes similar and the different class prototypes to be dissimilar. Furthermore, we introduce a class-agnostic contrastive loss to enhance the generalization ability to unseen classes by compressing the feature distribution of semantic class within each episode. We demonstrate that the proposed dual prototypical contrastive learning approach outperforms state-of-the-art FSS methods on PASCAL-5i and COCO-20i datasets. The code is available at:https://github.com/kwonjunn01/DPCL1.

研究の動機と目的

• 極度のクラス内変動と意味的に類似したクラス間対象が存在する状況下での、少数ショットセマンティックセグメンテーション（FSS）の一般化性能の限界を解消すること。
• 埋め込み空間におけるクラス内特徴のコンパクト性とクラス間プロトタイプの分離性を強制することで、特徴表現を向上させること。
• 既知のクラスに過学習しやすいプロトタイプベース手法の傾向を克服するため、一般化に配慮した対照学習を導入すること。
• バックボーンの変更や推論時サブモジュールの追加なしに、性能を向上させる軽量なフレームワークを開発すること。

提案手法

• エピソードごとにクラスプロトタイプのモーメンタムベースの移動平均を維持する動的プロトタイプ辞書を用いたクラス固有の対照的損失を導入する。
• 動的プロトタイプ辞書を負例サンプルのキューとして活用し、クラス間分離性とクラス内コンパクト性を強化する。
• 各エピソード内でターゲットクラスの特徴分布を圧縮するクラスに依存しない対照的損失を提案し、未観測クラスに対するロバスト性を向上させる。
• ResNet-50の層l2、l3、l4からのマルチレベル特徴の統合により、より良いセマンティックおよび空間的表現を実現する。
• バックボーンの変更や推論時モジュールの追加なしに、プロトタイプレベルでの対照学習を適用し、クラス埋め込みを精緻化する。
• t-SNE可視化を用いて、DPCLが埋め込み空間でよりコンパクトで明確に分離されたプロトタイプ分布を生成することを確認する。

実験結果

リサーチクエスチョン

• RQ1 クラス固有の対照学習とクラスに依存しない対照学習の共同最適化が、少数ショットセマンティックセグメンテーションにおける特徴の識別性を向上させ得るか？
• RQ2 標準的なプロトタイプベース手法と比較して、デュアル対照学習は未観測クラスへの一般化をどの程度向上させるか？
• RQ3 マルチレイヤー特徴統合は、低ショット状況下でのセグメンテーション精度をどの程度向上させるか？
• RQ4 動的プロトタイプ辞書は、エピソード学習における大規模な負例メモリとして効果的に機能するか？

主な発見

• PASCAL-5iでは、1ウェイ1ショット設定で53.39%のmIoUを達成し、ベースラインを3.7%上回り、従来手法を大きく上回った。
• PASCAL-5iの5ショット設定では、追加のラベルなしでPANetベースラインを約4%上回るmIoUを達成した。
• COCO-20iでは、1ショット設定で前人最高手法を10.5%上回り、5ショット設定では6.1%の向上を達成した。
• アブレーションスタディの結果、クラス固有とクラスに依存しない対照的損失の併用が最大の性能向上をもたらし、ベースライン比で3.7%の向上を確認した。
• t-SNE可視化により、DPCLがベースラインよりもよりコンパクトで明確に分離されたプロトタイプ分布を生成することが確認され、特徴の識別性向上が裏付けられた。
• マルチレイヤー特徴統合（l2, l3, l4）が最良の性能を示し、低レベル特徴と高レベルセマンティック特徴の統合の利点を示した。