[論文レビュー] MLAN: Multi-Level Adversarial Network for Domain Adaptive Semantic Segmentation

Jiaxing Huang, Dayan Guan+2 more|arXiv (Cornell University)|Mar 24, 2021

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 13

ひとこと要約

本稿では、グローバルな画像レベルとローカルな領域レベルの両方で特徴を同時にアライメントする、マルチレベルの敵対的ネットワークであるMLANを提案する。RL-AL（領域レベルの敵対的学習）とCR-AL（共正則化敵対的学習）を導入することで、複数のベンチマークで安定的かつ強力なドメイン適応を実現し、セマンティックセグメンテーションの精度が大幅に向上し、最先端の手法を大きく上回る性能を達成した。

ABSTRACT

Recent progresses in domain adaptive semantic segmentation demonstrate the effectiveness of adversarial learning (AL) in unsupervised domain adaptation. However, most adversarial learning based methods align source and target distributions at a global image level but neglect the inconsistency around local image regions. This paper presents a novel multi-level adversarial network (MLAN) that aims to address inter-domain inconsistency at both global image level and local region level optimally. MLAN has two novel designs, namely, region-level adversarial learning (RL-AL) and co-regularized adversarial learning (CR-AL). Specifically, RL-AL models prototypical regional context-relations explicitly in the feature space of a labelled source domain and transfers them to an unlabelled target domain via adversarial learning. CR-AL fuses region-level AL and image-level AL optimally via mutual regularization. In addition, we design a multi-level consistency map that can guide domain adaptation in both input space ($i.e.$, image-to-image translation) and output space ($i.e.$, self-training) effectively. Extensive experiments show that MLAN outperforms the state-of-the-art with a large margin consistently across multiple datasets.

研究の動機と目的

• 合成（ソース）画像と実画像（ターゲット）の間の分布ギャップによって引き起こされるセマンティックセグメンテーションにおけるドメインシフトを解消すること。
• グローバルな画像レベルの敵対的学習ではローカルな領域レベルのコンテキスト関係を捉えられないとする限界を克服すること。
• 画像レベルと領域レベルのドメインアライメントを同時に最適化することで、学習の安定性と性能を向上させること。
• 入力空間と出力空間の両方で適応をガイドするマルチレベル一貫性マップ（MLCM）を構築すること。
• ハイパーパrameterの選択に強く依存しない、優れたドメイン適応性能を達成すること。

提案手法

• ソースドメインからターゲットドメインに特徴空間における代表的な領域的コンテキスト関係を明示的にモデル化・伝達するため、領域レベルの敵対的学習（RL-AL）を提案する。
• グローバルおよびローカルの一貫性制約を通じて、画像レベルと領域レベルの敵対的学習を相互に正則化する共正則化敵対的学習（CR-AL）を導入する。
• 入力空間（画像間変換用）と出力空間（自己学習用）の両方で、ドメインギャップが大きい領域を特定するマルチレベル一貫性マップ（MLCM）を設計する。
• 相互正則化を採用：ローカルな一貫性が低い領域に対してはRL-AL損失を増加させ、グローバルなドメインギャップが大きい画像に対してはIL-AL損失を増加させる。
• 共有エンコーダと、画像レベルおよび領域レベルのアライメント用に別々のドメイン識別器を持つデュアルブランチネットワークを採用する。
• MLCMを用いた自己学習を統合し、ドメインギャップが大きい難易度の高いサンプルの疑似ラベル付けを優先することで、簡単なサンプルへの過学習を低減する。

実験結果

リサーチクエスチョン

• RQ1 グローバルな画像レベルとローカルな領域レベルのドメインアライメントを同時に最適化することで、教師なしドメイン適応におけるセマンティックセグメンテーションの性能が向上するか？
• RQ2 画像レベルと領域レベルの敵対的学習の間における共正則化は、学習の安定性とモデルのロバストネスをどのように向上させるか？
• RQ3 マルチレベル一貫性マップは、入力空間および出力空間の両方での適応をどの程度改善するか？
• RQ4 提案手法は、多様なドメインシフトのシナリオにおいて、既存の最先端手法を上回る性能を発揮するか？
• RQ5 モデルはハイパーパrameterの設定にどれほど敏感で、正則化は学習の安定性を向上させるか？

主な発見

• MLANはGTA5-to-CityscapesおよびCityscapes-to-Cityscapesのベンチマークで最先端の性能を達成し、先行するSOTA手法を大きく上回った。
• 提案された正則化付きRL-ALおよびIL-ALは著しくロバストで、重み係数の幅広い範囲でセグメンテーション精度が1.2%未満の変動に抑えられた。
• GTA5-to-Cityscapesベンチマークにおいて、ResNet-101を用いて平均交差率（mIoU）46.1%を達成し、前回のSOTAを2.5ポイント以上上回った。
• アブレーションスタディの結果、CR-ALおよびMLCMの両方が性能向上に顕著な寄与をしており、特に局所的なコンテキスト関係の誤り（例：木の幹を電柱と誤分類）の是正に有効であった。
• パラメータスタディの結果、元の敵対的損失は不安定であったが、提案された正則化により学習が安定化し、ハイパーパrameterへの感受性が低減した。
• MLCMを用いて自己学習を高ドメインギャップ領域に向けたことで、容易なサンプルへの過学習が効果的に防止され、一般化性能が向上した。