[論文レビュー] Unsupervised Domain Adaptation for Semantic Segmentation via Low-level Edge Information Transfer

Hongruixuan Chen, Chen Wu+2 more|arXiv (Cornell University)|Sep 18, 2021

Domain Adaptation and Few-Shot Learning参考文献 59被引用数 8

ひとこと要約

本稿は、低レベルのエッジ情報（ドメイン間ギャップが小さい）を活用して、高レベルのセマンティック特徴の転送をガイドする、セマンティックセグメンテーションのための新規な教師なしドメイン適応フレームワークを提案する。敵対的学習とエッジ整合性損失を備えた独立したエッジストリームを導入することで、実画像における境界の正確性が向上し、CityscapesおよびGTA5ベンチマークでそれぞれ+2.9%および+2.6%のSOTA mIoU向上を達成した。

ABSTRACT

Unsupervised domain adaptation for semantic segmentation aims to make models trained on synthetic data (source domain) adapt to real images (target domain). Previous feature-level adversarial learning methods only consider adapting models on the high-level semantic features. However, the large domain gap between source and target domains in the high-level semantic features makes accurate adaptation difficult. In this paper, we present the first attempt at explicitly using low-level edge information, which has a small inter-domain gap, to guide the transfer of semantic information. To this end, a semantic-edge domain adaptation architecture is proposed, which uses an independent edge stream to process edge information, thereby generating high-quality semantic boundaries over the target domain. Then, an edge consistency loss is presented to align target semantic predictions with produced semantic boundaries. Moreover, we further propose two entropy reweighting methods for semantic adversarial learning and self-supervised learning, respectively, which can further enhance the adaptation performance of our architecture. Comprehensive experiments on two UDA benchmark datasets demonstrate the superiority of our architecture compared with state-of-the-art methods.

研究の動機と目的

• 合成（ソース）画像と実画像（ターゲット）の間で生じる高レベルのセマンティック特徴における大きなドメインギャップに起因するセマンティックセグメンテーションの課題に対処する。
• 大きなドメインシフトのため、特徴レベルの敵対的手法が高レベル特徴の不整合に苦労するという既存手法の限界を克服する。
• ドメイン間ギャップが小さいことで知られる低レベルのエッジ情報を利用し、セマンティック特徴の適応をガイドする転送信号として活用する。
• 予測されたセマンティックマップを高品質なエッジ由来の境界と明示的に一致させることで、実世界のターゲットドメインにおけるセグメンテーション性能を向上させる。
• しきい値ベースの偽ラベル化を必要とせず、不確実性に適応する自己教師付き学習をさらに精緻化するための不確実性適応型自己教師付き学習（UASL）を開発する。

提案手法

• セマンティックストリーム（標準のエントロピー敵対的学習用）と独立したエッジストリーム（低レベルのエッジ特徴処理用）を備えたデュアルストリームアーキテクチャを設計する。
• エッジストリームを、ソースドメインの真値セマンティック境界を用いて学習し、ソースとターゲットのエッジ特徴を一致させるためにドメイン敵対的訓練を適用する。
• 予測されたセマンティックセグメンテーションマップとターゲットドメインにおける生成されたエッジマップとの一致を強制するエッジ整合性損失を導入する。
• 高エントロピー（難易度の高い）ターゲットサンプルの損失重みを増加させるエントロピー再重み付け機構を提案し、困難なインスタンスへの適応性を向上させる。
• 不確実性に適応する自己教師付き学習（UASL）を適用し、高信頼度ピクセルの重みを適応的に増やし、ノイズの多い予測を抑制することで、予測を精緻化する。
• A-distanceメトリクスを用いて、エッジ特徴がセマンティック特徴よりも顕著に小さなドメインギャップを示すことを実証的に検証する。

実験結果

リサーチクエスチョン

• RQ1 エッジ特徴のドメイン間ギャップが小さいことから、低レベルのエッジ情報が教師なしドメイン適応における高レベルのセマンティック特徴の転送を効果的にガイドできるか？
• RQ2 独立したストリームを用いてエッジ情報を明示的にモデル化することで、標準の敵対的適応と比較して、実世界のターゲットドメインにおけるセグメンテーション性能が向上するか？
• RQ3 予測されたセマンティックマップとエッジマップとの整合性を強制することで、境界の正確性と全体のmIoUがどの程度向上するか？
• RQ4 しきい値ベースの偽ラベル化（T=0.5, T=0.9）と比較して、不確実性適応型自己教師付き学習はドメイン適応におけるセマンティックセグメンテーションでどのように性能を発揮するか？
• RQ5 A-distanceで測定した場合、エッジ表現におけるドメイン不一致が、高レベルのセマンティック表現と比べて顕著に小さいとされるか？

主な発見

• 提案手法は、Cityscapesデータセットで52.8%のmIoU、GTA5で48.1%のmIoUを達成し、先行SOTA手法を上回る最先端の性能を発揮した。
• エッジストリームとエッジ整合性損失を用いたエッジ情報の明示的利用により、CityscapesとGTA5のベースラインモデルに対してそれぞれ2.1%および1.9%のmIoU向上が達成された。
• エッジストリームにおける敵対的訓練により、mIoUがさらに0.8%および0.7%向上し、エッジ空間におけるドメイン整合の有効性が裏付けられた。
• エッジガイドドと敵対的エッジ学習による総合的な性能向上は、それぞれ+2.9%および+2.6%のmIoUに達し、本手法の優位性が確認された。
• A-distanceメトリクスにより、エッジ特徴がセマンティック特徴よりも顕著に小さなドメインギャップを示すことが示され、本手法の核心的仮定が妥当であることが裏付けられた。
• 不確実性適応型自己教師付き学習は、手動でのしきい値選択を不要とし、耐性を向上させるため、標準のしきい値ベース手法（T=0.5, T=0.9）を上回る性能を発揮した。