[論文レビュー] SPCL: A New Framework for Domain Adaptive Semantic Segmentation via Semantic Prototype-based Contrastive Learning

Binhui Xie, Li, Mingjia+1 more|arXiv (Cornell University)|Nov 24, 2021

Domain Adaptation and Few-Shot Learning参考文献 68被引用数 5

ひとこと要約

本論文は、セマンティックプロトタイプに基づく対照的学習を用いて細分化されたクラスアライメントを向上させることで、ドメイン適応型セマンティックセグメンテーションの性能を向上させる新規なフレームワークSPCLを提案する。ソースラベルから動的セマンティックプロトタイプを構築し、対照的損失を用いてソースおよびターゲットドメインのピクセル特徴量をこれらのプロトタイプにアライメントさせることで、クラス内コンパクト性とクラス間分離性を向上させる。GTA5→CityscapesおよびSYNTHIA→Cityscapesベンチマークにおいて、それぞれmIoU 52.1%および47.2%の最先端性能を達成する。

ABSTRACT

Although there is significant progress in supervised semantic segmentation, it remains challenging to deploy the segmentation models to unseen domains due to domain biases. Domain adaptation can help in this regard by transferring knowledge from a labeled source domain to an unlabeled target domain. Previous methods typically attempt to perform the adaptation on global features, however, the local semantic affiliations accounting for each pixel in the feature space are often ignored, resulting in less discriminability. To solve this issue, we propose a novel semantic prototype-based contrastive learning framework for fine-grained class alignment. Specifically, the semantic prototypes provide supervisory signals for per-pixel discriminative representation learning and each pixel of source and target domains in the feature space is required to reflect the content of the corresponding semantic prototype. In this way, our framework is able to explicitly make intra-class pixel representations closer and inter-class pixel representations further apart to improve the robustness of the segmentation model as well as alleviate the domain shift problem. Our method is easy to implement and attains superior results compared to state-of-the-art approaches, as is demonstrated with a number of experiments. The code is publicly available at https://github.com/BinhuiXie/SPCL.

研究の動機と目的

• ソースドメインとターゲットドメイン間の特徴量の識別性を向上させることで、セマンティックセグメンテーションにおけるドメインシフトを解消すること。
• 局所的な意味的整合性を保つことができないグローバルかつ粗いクラスアライメント手法の限界を克服すること。
• セマンティックプロトタイプを用いてピクセルレベルでクラス内コンパクト性とクラス間分離性を明示的に向上させること。
• 自己教師あり学習と対照的学習を活用した、シンプルでありながら効果的なフレームワークを構築すること。
• 標準的なクロスドメインセマンティックセグメンテーションベンチマークで優れた性能を達成すること。

提案手法

• ソースドメインの正解ラベルを用いて各クラスの動的セマンティックプロトタイプを構築し、監視信号としての役割を果たす。
• ターゲットドメインの疑似ラベルを用いてピクセルをクラス固有のサブセットにグループ化し、プロトタイプへのアライメントを実現する。
• 同じクラスのピクセル-プロトタイプペア（ポジティブペア）と異なるクラスのペア（ネガティブペア）を両ドメインで構築する。
• 各ピクセル表現が対応するセマンティックプロトタイプに近づき、他のプロトタイプから遠ざかるように促す対照的損失を導入する。
• ターゲットドメインにおける特徴表現をさらに精緻化するために自己教師あり損失を適用する。
• トレーニング中にプロトタイプを動的に更新することで、信頼性を向上させ、ドリフトを回避する。

実験結果

リサーチクエスチョン

• RQ1 セマンティックプロトタイプに従うピクセル単位の識別的表現学習は、セマンティックセグメンテーションにおけるドメイン適応を向上させるか？
• RQ2 プロトタイプに基づく対照的学習による細分化されたクラスアライメントは、グローバルまたは粗いアライメントよりもドメインシフトをより効果的に低減するか？
• RQ3 本手法は、先行研究の最先端手法と比較して、長尾クラスや境界クラスにおいてどのように性能を発揮するか？
• RQ4 対照的損失と自己教師あり損失の各コンponentが全体の性能に与える寄与度は何か？
• RQ5 学習率やプロトタイプ更新重みといったハイパーパrameterの選択に、本手法はどれほど頑健か？

主な発見

• GTA5→Cityscapesベンチマークにおいて、SPCLはmIoU 52.1%を達成し、ベースラインのAdaptSegNetを+10.7ポイント上回った。
• SYNTHIA→Cityscapesベンチマークでは、SPCLが47.2%のmIoUを達成し、ベースライン比+8.0%の改善を示した。
• テイルクラスにおいて顕著な向上を示し、GTA5→CityscapesおよびSYNTHIA→Cityscapesの両ベンチマークでmIoU tailがそれぞれ+12.3%および+10.5%向上した。
• t-SNE可視化により、SPCLは先行手法よりも識別性が高く一貫性のある特徴表現を生成することが確認された。
• アブレーションスタディの結果、ソースおよびターゲットの両方の対照的損失を組み合わせた場合、GTA5→CityscapesでmIoUが+7.8%の最大の性能向上を達成した。
• 本手法はハイパーパrameterの変動に対して頑健であり、プロトタイプを動的に更新する（α < 1.0）ことで最適な性能が得られることが示された。