[論文レビュー] Unsupervised Domain Adaptation for Semantic Segmentation by Content Transfer

Suhyeon Lee, Junhyuk Hyun+2 more|arXiv (Cornell University)|Dec 23, 2020

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本論文は、画像のコンテンツとスタイルをゼロスタイル損失を用いて分離することで、ドメイン不変特徴学習を可能にする、セマンティックセグメンテーションのための新規な教師なしドメイン適応手法を提案する。この手法により、合成ドメインから実ドメインへのコンテンツ転送が可能となり、末尾クラスの性能が向上する。ドメインギャップの低減とクラス不均衡の緩和により、GTA5→CityscapesおよびSYNTHIA→Cityscapesベンチマークで最先端のmIoUを達成する。

ABSTRACT

In this paper, we tackle the unsupervised domain adaptation (UDA) for semantic segmentation, which aims to segment the unlabeled real data using labeled synthetic data. The main problem of UDA for semantic segmentation relies on reducing the domain gap between the real image and synthetic image. To solve this problem, we focused on separating information in an image into content and style. Here, only the content has cues for semantic segmentation, and the style makes the domain gap. Thus, precise separation of content and style in an image leads to effect as supervision of real data even when learning with synthetic data. To make the best of this effect, we propose a zero-style loss. Even though we perfectly extract content for semantic segmentation in the real domain, another main challenge, the class imbalance problem, still exists in UDA for semantic segmentation. We address this problem by transferring the contents of tail classes from synthetic to real domain. Experimental results show that the proposed method achieves the state-of-the-art performance in semantic segmentation on the major two UDA settings.

研究の動機と目的

• 教師なしドメイン適応（UDA）におけるセマンティックセグメンテーションにおいて、合成画像と実画像の間のドメインギャップを解消すること。
• 現実世界のデータセットにおけるクラス不均衡によって引き起こされるヘッドクラスへのバイアスを低減すること。
• 追加のアノテーションを必要とせずに、ターゲットドメインにおけるレア（末尾）クラスのセグメンテーション性能を向上させること。
• 合成ソースラベルとラベルなし実データのみを用いて、ドメイン適応とクラス不均衡緩和をエンドツーエンドで訓練可能にする仕組みを提供すること。
• 標準的なUDAベンチマークにおいて、セマンティックセグメンテーションで最先端の性能を達成すること。

提案手法

• 1つのコンテンツエンコーダと2つのスタイルエンコーダを用いて、コンテンツとスタイルの分離を強制するゼロスタイル損失を導入する。
• コンテンツエンコーダをドメイン不変特徴を抽出するように学習させるとともに、スタイルエンコーダーがドメイン固有の特徴を学習する。
• サイクル整合性学習を適用して、ソースドメインとターゲットドメイン間の特徴の整合性を高める。
• 入力レベルおよび出力レベルのコンテンツ転送を実装し、ターゲットドメインに正確な合成アノテーション（末尾クラス）を統合する。
• ターゲットドメインで疑似ラベルを用いた自己学習を実施するが、末尾クラスの信頼性の低い疑似ラベルは、ソースからの転送コンテンツに置き換えることでバイアスを緩和する。
• 敵対的損失、サイクル整合性、コンテンツ転送の監督を組み合わせて、モデルをエンドツーエンドで最適化する。

実験結果

リサーチクエスチョン

• RQ1 画像内のコンテンツとスタイルを分離することで、教師なしドメイン適応におけるセマンティックセグメンテーションのドメイン整合性が向上するか？
• RQ2 ゼロスタイル損失は、標準的な敵対的またはサイクル整合性手法と比較して、特徴レベルでのドメイン適応をより良くするか？
• RQ3 合成データから実データへのコンテンツ転送により、追加のアノテーションなしで末尾クラスのセグメンテーション性能が向上するか？
• RQ4 自己学習による疑似ラベルと比較して、コンテンツ転送はクラス不均衡の緩和にどのように寄与するか？
• RQ5 提案手法は、標準的な合成から実へのUDAベンチマークで最先端の性能を達成するか？

主な発見

• 提案手法は、GTA5→Cityscapesで49.6%、SYNTHIA→Cityscapesで46.5%のmIoUを達成し、すべての先行SOTA手法を上回る。
• 入力レベルのコンテンツ転送を導入することで、GTA5→CityscapesにおけるmIoU_tailは29.9%から31.5%に、SYNTHIA→Cityscapesでは23.2%から26.3%に向上する。
• 出力レベルのコンテンツ転送により、GTA5→CityscapesではmIoU_tailが33.3%、mIoUが49.6%に、SYNTHIA→Cityscapesでは27.2%と46.5%にさらに向上する。
• 自己学習のみでは、GTA5→CityscapesとSYNTHIA→CityscapesでそれぞれmIoU_tailが0.7%、0.8%低下し、クラス不均衡の悪化が確認された。
• 定性的な結果から、コンテンツ転送後、交通標識や自転車などの末尾クラスオブジェクトのセグメンテーションが改善され、境界が明確になり、誤検出が減少している。
• アブレーションスタディにより、ゼロスタイル損失とコンテンツ転送の両方が不可欠であることが確認され、併用した際が最も高い性能を示した。