[論文レビュー] Classes Matter: A Fine-grained Adversarial Approach to Cross-domain Semantic Segmentation

Haoran Wang, Tong Shen+3 more|arXiv (Cornell University)|Jul 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 37被引用数 6

ひとこと要約

本稿では、クラスに依存する識別器とドメイン符号化を用いてクラスレベルの特徴整合を向上させることで、クロスドメインセマンティックセグメンテーションのための細分化された敵対的学習フレームワークFADAを提案する。二値ドメインラベルを多クラスの監督信号に一般化することで、GTA5→Cityscapes、SYNTHIA→Cityscapes、Cityscapes→Cross-Cityの設定において最先端の性能を達成し、ResNet-101とDeeperLabV2を用いたGTA5→Cityscapesでは50.1%のmIoUを達成した。

ABSTRACT

Despite great progress in supervised semantic segmentation,a large performance drop is usually observed when deploying the model in the wild. Domain adaptation methods tackle the issue by aligning the source domain and the target domain. However, most existing methods attempt to perform the alignment from a holistic view, ignoring the underlying class-level data structure in the target domain. To fully exploit the supervision in the source domain, we propose a fine-grained adversarial learning strategy for class-level feature alignment while preserving the internal structure of semantics across domains. We adopt a fine-grained domain discriminator that not only plays as a domain distinguisher, but also differentiates domains at class level. The traditional binary domain labels are also generalized to domain encodings as the supervision signal to guide the fine-grained feature alignment. An analysis with Class Center Distance (CCD) validates that our fine-grained adversarial strategy achieves better class-level alignment compared to other state-of-the-art methods. Our method is easy to implement and its effectiveness is evaluated on three classical domain adaptation tasks, i.e., GTA5 to Cityscapes, SYNTHIA to Cityscapes and Cityscapes to Cross-City. Large performance gains show that our method outperforms other global feature alignment based and class-wise alignment based counterparts. The code is publicly available at https://github.com/JDAI-CV/FADA.

研究の動機と目的

• ソースドメインとターゲットドメイン間の特徴整合を改善することで、セマンティックセグメンテーションにおけるドメインシフト問題に対処する。
• ターゲットドメインにおけるクラスレベルの意味的構造を無視するグローバル特徴整合手法の限界を克服する。
• 敵対的学習プロセスにクラスレベルの情報を組み込むことで、より正確な整合を実現する。
• 二値ドメインラベルをクラスに依存する情報を持つ新たな監督信号「ドメイン符号化」に一般化する。
• クラス内特徴の整合を図りながらも、クラス間分離性を維持することで、クラス不一致エラーを低減する。

提案手法

• ドメイン$d$、クラス$c$、特徴$f$の条件付き確率$P(d,c|f)$をモデル化する細分化されたドメイン識別器を設計する。これにより、クラスレベルの区別が可能になる。
• ソースドメインおよびターゲットドメインのモデル予測に基づいて、二値ドメインラベルを「ドメイン符号化」に一般化し、細分化された識別器を監督する。
• ノイズの多い予測への過学習を防ぐために、0.9のしきい値を用いた信頼度クリッピングを実施する。
• 性能をさらに向上させるために、自己蒸留とマルチスケールテストを補助的要素として統合する。
• 敵対的損失を定式化し、ドメイン不変な特徴を促進するとともに、クラス固有の構造を維持する。
• クラス内特徴の凝縮性とクラス間分離性を定量的に測定するために、新たな評価指標「クラスセンター距離（CCD）」を定義する。

実験結果

リサーチクエスチョン

• RQ1 グローバル分布整合を越えて、クラスに依存する敵対的学習がクロスドメインセマンティックセグメンテーションを改善できるか？
• RQ2 識別器にクラスレベルの情報を組み込むことで、特徴の整合性品質とセグメンテーション精度にどのような影響を与えるか？
• RQ3 真のターゲットラベルが存在しない状況で、ドメイン符号化の構築にソフトラベルとハードラベルのどちらを用いるかが性能に与える影響は？
• RQ4 ノイズの多いソフトラベルを監督に用いる場合、信頼度クリッピングがどれほどロバストネスを向上させるか？
• RQ5 提案手法は、クラス内特徴の整合を図りながらも、クラス間分離性をどのように維持しているか？

主な発見

• FADAは、ResNet-101とDeeplabV2を用いたGTA5→Cityscapesベンチマークで50.1%のmIoUを達成し、先行研究の最先端手法を上回った。
• 平均クラスセンター距離（CCD）を1.1にまで低減し、AdaptSegNetやCLANと比較して優れたクラス内凝縮性とクラス間分離性を示した。
• 細分化された敵対的学習のみで、GTA5→Cityscapesでグローバル整合ベースラインからmIoUが10.1%向上した。
• 信頼度クリッピング（しきい値0.9）を施したソフトラベルは、ハードラベルよりも優れた性能を示し、GTA5→Cityscapesで46.9%のmIoUを達成した（ハードラベル使用時：45.7%）。
• アブレーションスタディにより、自己蒸留とマルチスケールテストがそれぞれ2.3%および0.7%の性能向上をもたらすことが確認された。
• 定性的な結果から、FADAはセグメンテーション予測における誤分類とドメイン固有のアーチファクトを顕著に低減していることが示された。