[論文レビュー] Cross-City Matters: A Multimodal Remote Sensing Benchmark Dataset for Cross-City Semantic Segmentation using High-Resolution Domain Adaptation Networks

Danfeng Hong, Bing Zhang+8 more|arXiv (Cornell University)|Sep 26, 2023

Remote-Sensing Image Classification被引用数 8

ひとこと要約

本論文は跨市セマンティックセグメンテーションのためのC2SegマルチモーダルRSベンチマークと、HRNetベースのマルチモーダルエンコーダと敵対的ドメイン適応・Dice損失を用いて跨市汎化を向上させるHighDANネットワークを提案する。

ABSTRACT

Artificial intelligence (AI) approaches nowadays have gained remarkable success in single-modality-dominated remote sensing (RS) applications, especially with an emphasis on individual urban environments (e.g., single cities or regions). Yet these AI models tend to meet the performance bottleneck in the case studies across cities or regions, due to the lack of diverse RS information and cutting-edge solutions with high generalization ability. To this end, we build a new set of multimodal remote sensing benchmark datasets (including hyperspectral, multispectral, SAR) for the study purpose of the cross-city semantic segmentation task (called C2Seg dataset), which consists of two cross-city scenes, i.e., Berlin-Augsburg (in Germany) and Beijing-Wuhan (in China). Beyond the single city, we propose a high-resolution domain adaptation network, HighDAN for short, to promote the AI model's generalization ability from the multi-city environments. HighDAN is capable of retaining the spatially topological structure of the studied urban scene well in a parallel high-to-low resolution fusion fashion but also closing the gap derived from enormous differences of RS image representations between different cities by means of adversarial learning. In addition, the Dice loss is considered in HighDAN to alleviate the class imbalance issue caused by factors across cities. Extensive experiments conducted on the C2Seg dataset show the superiority of our HighDAN in terms of segmentation performance and generalization ability, compared to state-of-the-art competitors. The C2Seg dataset and the semantic segmentation toolbox (involving the proposed HighDAN) will be available publicly at https://github.com/danfenghong.

研究の動機と目的

• 都市間・地域間の一般化ボトルネックを克服するためのマルチモーダルRSデータを用いた跨市セマンティックセグメンテーションの動機付け。
• 2つの跨市シーンと13クラスの公開可能な大規模マルチモーダルRSベンチマーク（C2Seg）を提供。
• 都市間へ知識転移を図る高解像度のマルチモーダルドメイン適応ネットワークHighDANの開発。
• ドメイン適応とDice損失が最先端ベースラインを上回る跨市セグメンテーション性能を示す。

提案手法

• C2Segを2つの跨市データセットとして導入：C2Seg-AB（ベルリン–アウグスブルク，ドイツ）とC2Seg-BW（北京–武漢，中国）を、10 m GSDでのハイパースペクトル、マルチスペクトル、SARデータと共に示す。
• HR-Netをベースとした高解像度ネットワークHighDANを設計し、並列の高解像度から低解像度ストリームを融合してマルチモーダル表現を作成。
• 特徴抽出ヘッドとマルチモーダルHRサブネットワークを備えたマルチモーダルエンコーダを実装し、モード間で高解像度表現を学習。
• 特徴レベルとカテゴリレベルの両方で敵対的ドメイン適応モジュールを組み込み、ソースとターゲットドメインの表現を整合。
• 跨市クラス不均衡を軽減し、セグメンテーションのロバスト性を向上させるDice損失を組み込む。
• 3ストリーム構成を用いてハイパースペクトル、マルチスペクトル、SARデータを扱い、安定性のため共有HRモジュールパラメータを採用。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルRSベンチマークデータセットは跨市セマンティックセグメンテーション研究をどう支援できるか。
• RQ2 HighDANは高解像度表現とドメイン適応を活用して跨市汎化を改善できるか。
• RQ3 特徴レベルとカテゴリレベルの敵対的ドメイン適応は、マルチモーダルRSデータにおける都市間のドメインギャップを減らせるか。
• RQ4 Dice損失は跨市ランドカバーセグメンテーションのクラス不均衡問題を緩和できるか。

主な発見

• HighDANはC2Segデータセットで跨市セマンティックセグメンテーションにおいて最先端の競合手法を上回る。
• マルチモーダルHRフュージョン戦略は空間的トポロジーを保持しつつ、敵対的ドメイン適応を介して跨市転移を可能にする。
• Dice損失は跨市セグメンテーションタスクに内在するクラス不均衡問題の緩和に寄与する。
• C2Segは2つの都市ペアと3モダリティに跨る跨市・マルチモーダルRSセマンティックセグメンテーションの公開ベンチマークを提供する。
• データセットとHighDANツールボックスは広範な研究利用のために公開される予定。