[論文レビュー] Prototypical Pseudo Label Denoising and Target Structure Learning for Domain Adaptive Semantic Segmentation

Pan Zhang, Bo Zhang+4 more|arXiv (Cornell University)|Jan 26, 2021

Domain Adaptation and Few-Shot Learning参考文献 71被引用数 36

ひとこと要約

ProDA はリアルタイムのクラスプロトタイプを用いて偽ラベルをノイズ除去し、ターゲット構造の一貫性を強制し、自己監督型モデルへの蒸留を行い、最先端のドメイン適応セマンティックセグメンテーションの結果を達成します。

ABSTRACT

Self-training is a competitive approach in domain adaptive segmentation, which trains the network with the pseudo labels on the target domain. However inevitably, the pseudo labels are noisy and the target features are dispersed due to the discrepancy between source and target domains. In this paper, we rely on representative prototypes, the feature centroids of classes, to address the two issues for unsupervised domain adaptation. In particular, we take one step further and exploit the feature distances from prototypes that provide richer information than mere prototypes. Specifically, we use it to estimate the likelihood of pseudo labels to facilitate online correction in the course of training. Meanwhile, we align the prototypical assignments based on relative feature distances for two different views of the same target, producing a more compact target feature space. Moreover, we find that distilling the already learned knowledge to a self-supervised pretrained model further boosts the performance. Our method shows tremendous performance advantage over state-of-the-art methods. We will make the code publicly available.

研究の動機と目的

• 自己教師なしドメイン適応セマンティックセグメンテーション（UDA）におけるドメイン間のギャップを、偽ラベルの品質とターゲット特徴の構造を改善することで縮小する。
• オンラインでクラスプロトタイプを活用して偽ラベルを正すとともに、コンパクトなターゲット特徴空間を学習する。
• 拡張ビュー間でターゲット表現を整列させる一貫性ベースの構造学習モジュールを導入する。
• 自己教師付き事前学習モデルへの蒸留がUDA性能をさらに向上させることを示す。

提案手法

• ターゲット特徴からオンザフライのクラスプロトタイプ（η^(k)）を計算し、移動平均スキームで更新する。
• プロトタイプとの距離に基づく重み ω_t^(i,k) で変調された固定のボイラープレートソフトラベル p_t,0 を用いて偽ラベルを正す（式4）。
• ノイズのある偽ラベルに耐えるため対称クロスエントロピー損失（SCE）で訓練する（式7）。
• 弱/強拡張を跨ぐプロトタイプ的一貫性をKL発散（式9）とクラス分布正則化子（式10）を用いてターゲット構造を強制する。
• 任意でKD損失（式12）を用いて自己教師付き事前訓練済みの student モデルへ知識を蒸留する。

実験結果

リサーチクエスチョン

• RQ1 UDAにおける自己学習中にオンラインのプロトタイプ情報はノイズのある偽ラベルを正しく補正できるか？
• RQ2 プロトタイプ的一貫性によるコンパクトなターゲット構造の強制は、ラベルノイズ除去を超えてターゲットドメインの識別性を向上させるか？
• RQ3 学習したターゲット知識を自己教師付きの事前学習モデルへ蒸留することがUDA性能に与える影響は？
• RQ4 ProDA はハイパーパラメータおよび異なるターゲットドメインデータセット（GTA5/SYNTHIA から Cityscapes）に対してどれだけロバストか？

主な発見

• ProDA は GTA5 → Cityscapes で最先端の mIoU を達成：57.5。
• ProDA は SYNTHIA → Cityscapes で最先端の mIoU を達成：55.5（16 カテゴリ）および 62.0（13 カテゴリ）。
• 非適応ベースラインの利得：ProDA は GTA5→Cityscapes でソース訓練モデル比で +20.9 mIoU を提供し、SYNTHIA→Cityscapes では +20.6 の著しい利得。
• アブレーション実験は、各コンポーネント（プロトタイプ的ノイズ除去、ターゲット構造学習、知識蒸留）からの顕著な利得を示し、累積で 57.5 mIoU に到達できることを示す；全パイプラインはベースラインの自己訓練を大幅に上回る。
• 可視化は、ProDA がベースラインと比較してよりコンパクトでよく分離されたターゲット特徴クラスターを生み出すことを示している。