[論文レビュー] Category Anchor-Guided Unsupervised Domain Adaptation for Semantic Segmentation

Qiming Zhang, Jing Zhang+2 more|arXiv (Cornell University)|Oct 28, 2019

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 114

ひとこと要約

本論文は、カテゴリ別アンカーを用いた教師なしドメイン適応(UDA)モデル(CAG-UDA)を提案し、セマンティックセグメンテーションにおいてカテゴリごとのアンカーを使って活性化ターゲットサンプルを特定し、擬似ラベルを割り当て、ドメイン間で特徴を整列させ、GTA5→CityscapesおよびSYNTHIA→Cityscapesで最先端の結果を達成する。

ABSTRACT

Unsupervised domain adaptation (UDA) aims to enhance the generalization capability of a certain model from a source domain to a target domain. UDA is of particular significance since no extra effort is devoted to annotating target domain samples. However, the different data distributions in the two domains, or \\emph{domain shift/discrepancy}, inevitably compromise the UDA performance. Although there has been a progress in matching the marginal distributions between two domains, the classifier favors the source domain features and makes incorrect predictions on the target domain due to category-agnostic feature alignment. In this paper, we propose a novel category anchor-guided (CAG) UDA model for semantic segmentation, which explicitly enforces category-aware feature alignment to learn shared discriminative features and classifiers simultaneously. First, the category-wise centroids of the source domain features are used as guided anchors to identify the active features in the target domain and also assign them pseudo-labels. Then, we leverage an anchor-based pixel-level distance loss and a discriminative loss to drive the intra-category features closer and the inter-category features further apart, respectively. Finally, we devise a stagewise training mechanism to reduce the error accumulation and adapt the proposed model progressively. Experiments on both the GTA5$\ ightarrow $Cityscapes and SYNTHIA$\ ightarrow $Cityscapes scenarios demonstrate the superiority of our CAG-UDA model over the state-of-the-art methods. The code is available at \\url{https://github.com/RogerZhangzz/CAG_UDA}.

研究の動機と目的

• セマンティックセグメンテーションの教師なしドメイン適応におけるドメインシフトに対処する。
• カテゴリアンカーを提案し、カテゴリごとの特徴整列と信頼できる擬似ラベルを可能にする。
• 擬似ラベルから生じる誤差蓄積を抑制する段階的な訓練メカニズムを開発する。
• GTA5→CityscapesおよびSYNTHIA→Cityscapesデータセットで最先端性能を示す。

提案手法

• ソースドメインの特徴からカテゴリ別セントロイド（カテゴリアンカー）を計算する。
• アンカーへの距離を測定して活性サンプルを特定し、擬似ラベルを割り当てる。
• アンカーに基づくピクセルレベルの距離損失を用いて同一カテゴリ内の分散を低減する。
• 識別性の損失を用いてカテゴリ間の分散を高め、意思決定境界を洗練する。
• 擬似ラベルを安定化させ、順次適応を可能にする段階的な訓練手順を実装する。

実験結果

リサーチクエスチョン

• RQ1 カテゴリアンカーはセマンティックセグメンテーションの効果的な教師なしドメイン適応を導けるか。
• RQ2 アンカー基づく整列と擬似ラベリングはラベルなし整列法と比較してターゲット領域のセグメンテーション性能を向上させるか。
• RQ3 段階的訓練はUDA中の擬似ラベルからの誤差蓄積を緩和するか。
• RQ4 CAG-UDAはGTA5→CityscapesおよびSYNTHIA→Cityscapesで最先端手法と比較してどうなるか。

主な発見

• CAG-UDAはStage 3においてGTA5→Cityscapesの平均IoU(mIoU)を50.2に達し、従来のSOTA手法を上回った。
• GTA5→Cityscapesのテストで、CAG-UDAは19クラスで51.7 mIoUを達成。
• SYNTHIA→Cityscapesでは、13カテゴリ(mIoU*)および16カテゴリ(mIoU)のベンチマーク両方で従来法を上回った。
• カテゴリアンカーを用いた段階的訓練は、単一段階アプローチおよびウォームアップのみより大幅な向上をもたらす。
• アブレーション実験で、カテゴリアンカー基づく擬似ラベルは確率ベースの擬似ラベルよりも信頼性の高い監視信号を提供する。