[論文レビュー] CSCL: Critical Semantic-Consistent Learning for Unsupervised Domain Adaptation

Jiahua Dong, Yang Cong+3 more|arXiv (Cornell University)|Aug 24, 2020

Domain Adaptation and Few-Shot Learning参考文献 47被引用数 4

ひとこと要約

本稿では、ドメインワイドおよびカテゴリワイドの分布シフトに対処するため、セマンティックセグメンテーションにおける非教師付きドメイン適応のための新規フレームワークであるCSCLを提案する。この手法は、強化学習に基づく臨界的転送メカニズムを用いて、転送可能な特徴を優先し、転送不可能な特徴を抑制する。さらに、対称的ソフトダイバージェンス損失を用いた信頼度誘導型疑似ラベル生成器によりカテゴリワイドの分布を整列させ、複数のベンチマークで最先端の性能を達成する。

ABSTRACT

Unsupervised domain adaptation without consuming annotation process for unlabeled target data attracts appealing interests in semantic segmentation. However, 1) existing methods neglect that not all semantic representations across domains are transferable, which cripples domain-wise transfer with untransferable knowledge; 2) they fail to narrow category-wise distribution shift due to category-agnostic feature alignment. To address above challenges, we develop a new Critical Semantic-Consistent Learning (CSCL) model, which mitigates the discrepancy of both domain-wise and category-wise distributions. Specifically, a critical transfer based adversarial framework is designed to highlight transferable domain-wise knowledge while neglecting untransferable knowledge. Transferability-critic guides transferability-quantizer to maximize positive transfer gain under reinforcement learning manner, although negative transfer of untransferable knowledge occurs. Meanwhile, with the help of confidence-guided pseudo labels generator of target samples, a symmetric soft divergence loss is presented to explore inter-class relationships and facilitate category-wise distribution alignment. Experiments on several datasets demonstrate the superiority of our model.

研究の動機と目的

• 非教師付きドメイン適応における、ドメイン間で転送不可能なセマンティック表現が引き起こす負の転送を是正すること。
• ターゲットドメインのアノテーションが存在しない状況下で、カテゴリワイドの分布シフトを軽減すること。
• 周辺分布と条件分布の両方を同時に整列させることで、ドメイン不変表現学習を向上させること。
• 関係のないまたは有害な特徴を除外し、高価値のセマンティック知識のみを効果的に転送する手法の開発

提案手法

• 転送可能性を定量化する識別器と、転送プロセスの品質を評価する評価器を備えた、臨界定着的転送に基づく敵対的フレームワークを設計。
• 転送可能性識別器と評価器を、潜在的な負の転送を考慮しつつも正の転送ゲインを最大化する強化学習の枠組みで同時に学習。
• ターゲットサンプルのためのソフト疑似ラベルを生成する信頼度誘導型疑似ラベル生成器を提案し、誤ったまたは曖昧な予測によるノイズを低減。
• 対称的ソフトダイバージェンス損失を導入し、カテゴリワイドの条件分布のギャップを最小化することで、ドメイン間のクラス間関係を整列。
• 敵対的および対照的学習のコンponentを用いて、ドメインワイドの周辺分布整列とカテゴリワイドの条件分布整列を同時に最適化

実験結果

リサーチクエスチョン

• RQ1 臨界定着的転送メカニズムは、非教師付きドメイン適応において、転送可能なセマンティック特徴を的確に識別し、優先的に処理することができるか。
• RQ2 ターゲットドメインの真値ラベルに依存せずに、カテゴリワイドの分布シフトをどのように低減できるか。
• RQ3 信頼度に配慮したソフト疑似ラベルを組み込むことで、特徴整列とセグメンテーション性能がどの程度向上するか。
• RQ4 強化学習と敵対的学習を統合することで、学習された表現のロバスト性と転送可能性が向上するか。

主な発見

• CSCLは、Cityscapes→NTHU、Rio、Tokyo、Taipeiを含む複数の非教師付きドメイン適応ベンチマークで最先端の性能を達成し、先行手法比で最大11.9%の向上を示した。
• Cityscapes→NTHUタスクにおいて、LtA、MSL、SSF、CBSTを含むすべてのベースラインを上回る性能を示し、評価された都市すべてで優位性を示した。
• アブレーションスタディにより、臨界定着的転送メカニズムと対称的ソフトダイバージェンス損失の両方が性能向上に顕著な寄与をしていることが確認され、後者はクラス内特徴の凝縮性を向上させた。
• 信頼度誘導型疑似ラベル生成器は、ノイズの大きい予測の影響を効果的に低減し、より安定的かつ正確な分布整列を実現した。
• 台北ベンチマークでは、平均IoUが54.8%を達成し、以前のSOTA（SSF: 51.4%、CBST: 51.0%）を上回った。
• 対称的ソフトダイバージェンス損失は、特徴空間における同じクラスの特徴がより緊密にクラスタリングされることで、カテゴリワイドの分布シフトが有意に低減されたことが裏付けられた。