[論文レビュー] SRDA-Net: Super-Resolution Domain Adaptation Networks for Semantic Segmentation.

Zhenjie Tang, Bin Pan+4 more|arXiv (Cornell University)|May 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 55被引用数 7

ひとこと要約

SRDA-Net は、リモートセンシングにおけるセマンティックセグメンテーションのためのエンドツーエンドのディーブラーニングフレームワークであり、スーパーレゾリューションとドメインアダプテーションを同時に実行する。敵対的学習により、スーパーレゾリューションとセグメンテーション生成器（SRS）と、2つの識別器（PDC および ODC）が、ピクセルレベルの外観と出力ラベル分布の両方でソースドメインとターゲットドメインを一致させる。この手法は、クロスレゾリューションのリモートセンシングデータセットにおいて最先端の性能を達成する。

ABSTRACT

Recently, Unsupervised Domain Adaptation was proposed to address the domain shift problem in semantic segmentation task, but it may perform poor when source and target domains belong to different resolutions. In this work, we design a novel end-to-end semantic segmentation network, Super-Resolution Domain Adaptation Network (SRDA-Net), which could simultaneously complete super-resolution and domain adaptation. Such characteristics exactly meet the requirement of semantic segmentation for remote sensing images which usually involve various resolutions. Generally, SRDA-Net includes three deep neural networks: a Super-Resolution and Segmentation (SRS) model focuses on recovering high-resolution image and predicting segmentation map; a pixel-level domain classifier (PDC) tries to distinguish the images from which domains; and output-space domain classifier (ODC) discriminates pixel label distributions from which domains. PDC and ODC are considered as the discriminators, and SRS is treated as the generator. By the adversarial learning, SRS tries to align the source with target domains on pixel-level visual appearance and output-space. Experiments are conducted on the two remote sensing datasets with different resolutions. SRDA-Net performs favorably against the state-of-the-art methods in terms of accuracy and visual quality. Code and models are available at this https URL.

研究の動機と目的

• ソースドメインとターゲットドメインの画像解像度が異なる場合のセマンティックセグメンテーションにおけるドメインシフトを解消すること。
• 同時にスーパーレゾリューションとドメインアダプテーションを実行するエンドツーエンドの学習を可能にすること。
• クロスレゾリューションのドメインシフトを伴うリモートセンシング画像において、セグメンテーションの精度と視覚的品質を向上させること。
• ドメイン間の視覚的外観とラベル分布の両方を統一的に一致させるフレームワークの開発

提案手法

• 低解像度入力から高解像度のセグメンテーションマップを生成するため、スーパーレゾリューションとセグメンテーション（SRS）モデルを統合する。
• ピクセルレベルのドメイン分類器（PDC）を用いて、ソースドメインとターゲットドメインの画像をピクセルレベルで区別する。
• 出力空間のドメイン分類器（ODC）を用いて、ソースドメインとターゲットドメインのラベル分布を区別する。
• SRS を生成器、PDC/ODC を識別器として、敵対的学習によりドメインを一致させる。
• 敵対的損失、セグメンテーション損失、スーパーレゾリューション損失を用いて、ネットワークをエンドツーエンドで最適化する。
• 敵対的学習による特徴レベルの一致を活用し、ドメインシフトの影響を低減する。

実験結果

リサーチクエスチョン

• RQ1 統合的スーパーレゾリューションとドメインアダプテーションは、クロスレゾリューションのリモートセンシングデータにおけるセマンティックセグメンテーション性能を向上させることができるか？
• RQ2 ピクセルレベルと出力空間の両方のドメイン識別器を用いた敵対的学習は、ドメインシフトをどれほど効果的に低減できるか？
• RQ3 提案された SRDA-Net は、低解像度および高解像度のドメイン移行シナリオにおいて、既存のドメインアダプテーション手法を上回る性能を示すか？
• RQ4 ターゲットドメインの分布に適応しながら、スーパーレゾリューションの過程で、セマンティック的・視覚的整合性をどの程度保持できるか？

主な発見

• SRDA-Net は、異なる解像度を持つ2つのリモートセンシングデータセットにおいて、最先端の性能を達成した。
• 既存の教師なしドメインアダプテーション手法と比較して、セグメンテーションの精度と視覚的品質が向上した。
• スーパーレゾリューションとドメインアダプテーションの共同最適化により、ドメイン間での特徴一致が向上した。
• PDC と ODC の両方を用いることで、ピクセルレベルおよび出力レベルのドメイン一致が顕著に向上した。
• ソースドメインとターゲットドメインの解像度が異なっても、ドメインシフトが効果的に低減された。
• コードとトレーニング済みモデルは再現性および今後の研究を目的として公開されている。