[論文レビュー] LoveDA: A Remote Sensing Land-Cover Dataset for Domain Adaptive Semantic Segmentation

Junjue Wang, Zhuo Zheng+3 more|arXiv (Cornell University)|Oct 17, 2021

Domain Adaptation and Few-Shot Learning参考文献 55被引用数 161

ひとこと要約

LoveDA は高解像度のリモートセンシング土地被覆データセットで、都市域と農村域を含み、セマンティックセグメンテーションと無監督ドメイン適応を研究する。複数モデルとUDA手法でベンチマーク。

ABSTRACT

Deep learning approaches have shown promising results in remote sensing high spatial resolution (HSR) land-cover mapping. However, urban and rural scenes can show completely different geographical landscapes, and the inadequate generalizability of these algorithms hinders city-level or national-level mapping. Most of the existing HSR land-cover datasets mainly promote the research of learning semantic representation, thereby ignoring the model transferability. In this paper, we introduce the Land-cOVEr Domain Adaptive semantic segmentation (LoveDA) dataset to advance semantic and transferable learning. The LoveDA dataset contains 5987 HSR images with 166768 annotated objects from three different cities. Compared to the existing datasets, the LoveDA dataset encompasses two domains (urban and rural), which brings considerable challenges due to the: 1) multi-scale objects; 2) complex background samples; and 3) inconsistent class distributions. The LoveDA dataset is suitable for both land-cover semantic segmentation and unsupervised domain adaptation (UDA) tasks. Accordingly, we benchmarked the LoveDA dataset on eleven semantic segmentation methods and eight UDA methods. Some exploratory studies including multi-scale architectures and strategies, additional background supervision, and pseudo-label analysis were also carried out to address these challenges. The code and data are available at https://github.com/Junjue-Wang/LoveDA.

研究の動機と目的

• 都市域と農村域を含む挑戦的なHSR土地被覆データセットを導入し、ドメイン移行性を研究する。
• LoveDA上のセマンティックセグメンテーションと無監督ドメイン適応のベンチマークを提供する。
• 複数スケールオブジェクト、複雑な背景、不整合なクラス分布といった課題を分析し、今後の手法を導く。

提案手法

• 0.3 m 解像度の画像を中国の3つの都市の18地域から収集し、都市対農村の二域分割を構築する。
• ピクセルレベルで8クラスの土地被覆をアノテーションし、訓練/検証/テストを空間的に独立させる。
• LoveDA上で11のセマンティックセグメンテーションモデルと8つのUDA手法をベンチマークしてベースラインを確立する。
• マルチスケールのアーキテクチャと戦略、追加の背景監視、疑似ラベル分析を調査して課題に対処する。
• データ拡張、最適化、バックボーンの事前学習情報を含むベースライン訓練の詳細を提供する。
• 再現性のためにコードとデータを公開する。

実験結果

リサーチクエスチョン

• RQ1 LoveDAで最先端のセグメンテーションモデルは都市域と農村域を超えてどの程度一般化できるのか？
• RQ2 LoveDAを用いたクロスドメイン土地被覆セグメンテーションに対する対立的・自己訓練型のUDAアプローチはどの程度有効か？
• RQ3 マルチスケール戦略と背景監視がLoveDAのセグメンテーション精度にどのような影響を与えるか？
• RQ4 不整合なクラス分布の下でCBSTのような疑似ラベル分析はUDA性能にどのように影響するか？

主な発見

• LoveDA は都市-農村ドメインを含み、クラス分布の不整合を持つことでクロスドメイン評価を可能にしている。
• HRNet は検証済みアーキテクチャの中で高いセグメンテーション性能を示し、マルチスケールフュージョンの恩恵を受ける。
• 訓練時およびテスト時のマルチスケール拡張（MSTrTe）は手法間でのmIoUを大幅に向上させる。
• 背景監視は特に難関の背景クラスでセグメンテーションを改善する。
• UDAでは自己訓練法が一般に対立的手法よりLoveDAでは優れている（ドメイン間のクラス分布ミスマッチのため）。
• CBST の疑似ラベリングはターゲットクラス比に頑健で、適切なチューニング下でクロスドメイン性能を大幅に向上させる。