[論文レビュー] Uncertainty-Aware Consistency Regularization for Cross-Domain Semantic Segmentation

Qianyu Zhou, Zhengyang Feng+5 more|arXiv (Cornell University)|Apr 19, 2020

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

本稿では、予測不確実性に基づいて一貫性損失を動的に重み付けし、クラス別摂動戦略によって細粒度の領域一貫性を強制することで、知識の転送を向上させる不確実性を考慮した一貫性正則化手法を提案する。この手法は、GTA5→Cityscapes や SYNTHIA→Cityscapes を含む4つのベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

Unsupervised domain adaptation (UDA) aims to adapt existing models of the source domain to a new target domain with only unlabeled data. Most existing methods suffer from noticeable negative transfer resulting from either the error-prone discriminator network or the unreasonable teacher model. Besides, the local regional consistency in UDA has been largely neglected, and only extracting the global-level pattern information is not powerful enough for feature alignment due to the abuse use of contexts. To this end, we propose an uncertainty-aware consistency regularization method for cross-domain semantic segmentation. Firstly, we introduce an uncertainty-guided consistency loss with a dynamic weighting scheme by exploiting the latent uncertainty information of the target samples. As such, more meaningful and reliable knowledge from the teacher model can be transferred to the student model. We further reveal the reason why the current consistency regularization is often unstable in minimizing the domain discrepancy. Besides, we design a ClassDrop mask generation algorithm to produce strong class-wise perturbations. Guided by this mask, we propose a ClassOut strategy to realize effective regional consistency in a fine-grained manner. Experiments demonstrate that our method outperforms the state-of-the-art methods on four domain adaptation benchmarks, i.e., GTAV $ ightarrow $ Cityscapes and SYNTHIA $ ightarrow $ Cityscapes, Virtual KITTI $ ightarrow$ KITTI and Cityscapes $ ightarrow$ KITTI.

研究の動機と目的

• セマンティックセグメンテーションにおける教師-生徒モデルの不確実性と負の転送問題を解消する。
• 不確実性推定を用いて信頼性の低い予測をフィルタリングすることで、教師モデルから生徒モデルへの知識転送を改善する。
• 文脈的ヒントへの過剰な依存を防ぎ、ドメインシフトに強い性能を向上させるために、局所的な領域一貫性を強化する。
• グローバルレベルの一貫性正則化の限界を克服するため、細粒度のクラス別摂動を導入する。
• 教師モデルの予測におけるエピステミック不確実性に基づいて一貫性損失を動的に重み付けするスケーリング手法を開発する。

提案手法

• 教師モデルの予測における潜在的エピステミック不確実性に基づく動的重み付けを用いた不確実性誘導一貫性損失を導入する。
• 訓練中に入力画像に対して強いクラス別摂動を生成するための ClassDrop マスク生成アルゴリズムを提案する。
• ClassDrop マスクに従って摂動を適用する ClassOut 戦略を設計し、細粒度の領域一貫性を強制する。
• 訓練の安定化と特徴量のアライメント向上のため、指数的移動平均（EMA）を用いた教師モデルを活用する。
• 色のずれ、ランダムクロップ、ガウスノイズなどの複数のオーグメンテーションを用いた確率的順伝播を適用し、耐性を向上させる。
• パラメータ α と β を用いて、不確実性重み付けの動的しきい値を定式化する。

実験結果

リサーチクエスチョン

• RQ1 不確実性推定は、一貫性ベースのUDAにおける知識転送の信頼性をどのように向上させるか？
• RQ2 標準的一貫性正則化はなぜドメイン差を最小化する際に不安定であり、その問題はどのように緩和できるか？
• RQ3 クラス別摂動によって強制される細粒度の領域一貫性は、グローバルレベルの一貫性を上回る特徴量のアライメントを実現できるか？
• RQ4 動的不確実性重み付けと一貫性正則化に最適なハイパーパramータ（λ₀, α, β, N）の設定は何か？
• RQ5 異なるデータオーグメンテーションは、提案手法の一貫性正則化とどのように相互作用し、ドメイン適応性能を向上させるか？

主な発見

• 提案手法は、GTA5→Cityscapes や SYNTHIA→Cityscapes を含む4つのクロスドメインセマンティックセグメンテーションベンチマークで最先端の性能を達成した。
• ResNet101 バックボーンを用いた SYNTHIA→Cityscapes ベンチマークでは、平均 mIoU が 55.9% に達し、以前の最先端手法を上回った。
• アブレーションスタディの結果、ガウスノイズ、色のずれ、ランダムクロップの各オーグメンテーションが相乗的に作用し、最適性能を発揮することが示された。
• 最適なハイパーパramータ設定では、λ₀ = 0.1、α = 0.725、β ≈ -4.8、N = 8 の組み合わせが最も高い mIoU を得た。
• 不確実性誘導の動的重み付けスキームは、標準的な Mean Teacher よりも著しく訓練の安定性を向上させ、誤りの蓄積を防いだ。
• ClassDrop マスクを用いた ClassOut 戦略は、局所的な領域一貫性を向上させ、文脈的ヒントへの過剰な依存を低減し、ドメインシフトへの耐性を高めた。