[論文レビュー] Joint Super-Resolution and Segmentation for 1-m Impervious Surface Area Mapping in China's Yangtze River Economic Belt

Jie Deng, Danfeng Hong+2 more|ArXiv.org|May 8, 2025

Advanced Image Fusion Techniques被引用数 3

ひとこと要約

論文はJointSegを紹介し、Sentinel-2の10メートルデータから1メートルの不可侵地表面積ISAマップを生成するために、徐々に超解像して1メートル化し、SRベースのセマンティックセグメンテーションを適用する。 Yangtze River Economic Belt (YREB) に適用。

ABSTRACT

We propose a novel joint framework by integrating super-resolution and segmentation, called JointSeg, which enables the generation of 1-meter ISA maps directly from freely available Sentinel-2 imagery. JointSeg was trained on multimodal cross-resolution inputs, offering a scalable and affordable alternative to traditional approaches. This synergistic design enables gradual resolution enhancement from 10m to 1m while preserving fine-grained spatial textures, and ensures high classification fidelity through effective cross-scale feature fusion. This method has been successfully applied to the Yangtze River Economic Belt (YREB), a region characterized by complex urban-rural patterns and diverse topography. As a result, a comprehensive ISA mapping product for 2021, referred to as ISA-1, was generated, covering an area of over 2.2 million square kilometers. Quantitative comparisons against the 10m ESA WorldCover and other benchmark products reveal that ISA-1 achieves an F1-score of 85.71%, outperforming bilinear-interpolation-based segmentation by 9.5%, and surpassing other ISA datasets by 21.43%-61.07%. In densely urbanized areas (e.g., Suzhou, Nanjing), ISA-1 reduces ISA overestimation through improved discrimination of green spaces and water bodies. Conversely, in mountainous regions (e.g., Ganzi, Zhaotong), it identifies significantly more ISA due to its enhanced ability to detect fragmented anthropogenic features such as rural roads and sparse settlements, demonstrating its robustness across diverse landscapes. Moreover, we present biennial ISA maps from 2017 to 2023, capturing spatiotemporal urbanization dynamics across representative cities. The results highlight distinct regional growth patterns: rapid expansion in upstream cities, moderate growth in midstream regions, and saturation in downstream metropolitan areas.

研究の動機と目的

• オープンアクセスデータ（Sentinel-2）を用いて大規模地域での細かいISAマッピングを動機づけ、VHRデータのコストとカバレッジのギャップを克服する。
• 対応するISAラベルを持つ10 m〜1 mの大規模かつ高解像度なISAデータセット（ISASeg）を作成する。
• Prog-ESRGANを提案し、10 m画像を1 mへ段階的にアップサンプルし、テクスチャを保ちながら高精度なセグメンテーションを実現する。
• SRの結果をMask2Formerと統合して1 m ISAマップ（ISA-1）を作成し、選択都市で2017–2023の二年ごとの時系列へ拡張する。

提案手法

• ISASegを、アップストリーム/ミッドストリーム/ダウンストリームのサブリージョン間で層化サンプリングし、Sentinel-2 2021コンポジットとJilin-1の高解像度HRターゲットを用いて構築する。
• Prog-ESRGANを開発する。10 mから2.5 mへ×4のアップスケールを最初に行い、次に Upsampled結果を第2段階のESRGANと融合して×10を達成する。スペクトル正規化を備えたU-Netディスクリミネータと2段階のディスクリミネータを使用。
• Prog-ESRGANをL1（PSNR志向）で訓練し、L1、知覚的損失、および敵対的損失でファインチューニングして堅牢な1 m出力を得る。
• Mask2Formerを用いて1 m SR出力上でSRベースのセマンティックセグメンテーションを実行し、10 mのSentinel-2入力から直接1 m ISAマップをエンドツーエンドで実現する。
• 訓練済みのJointSegパイプラインを適用して、YREB全体（2.4百万km²）のISA-1マップと、6つの代表的都市の2017–2023の二年ごとのマップを作成する。

実験結果

リサーチクエスチョン

• RQ1 progressive超解像フレームワークはSentinel-2の10 m画像を1 mへアップスケールする際、ISA識別に重要な特徴を保持できるか？
• RQ2 SRとTransformerベースのセグメンテーションモデル（Mask2Former）を統合して、自由に入手可能なデータから正確な1 m ISAマップを得られるか？
• RQ3 1 m ISA製品（ISA-1）は、既存の10 mおよび30 m ISAデータセットと比較して、精度、リコール、全体的な精度はどのようか？
• RQ4 2017年から2023年にかけて、長江経済ベルトのISAの空間-時間ダイナミクスを捉えることができるか？

主な発見

• ISA-1は、ISAクラスおよび全体の比較対象データセットに対してF1スコア75.53%および全体精度93.73%をより高く達成し、10 mおよび30 mのベースラインを上回る。
• 都市核（例：Nanjing、Suzhou）では、緑地・青地と不透水地の識別を改善し境界を保持することでISAの過大算定を抑制する。
• 山地地域（例：Ganzi、Zhaotong）では、低解像度データよりも断片化したISA特徴（農村道、点在する集落）をより多く検出し、地形を超えて頑健性を示す。
• 二年ごとのISAマップ（2017–2023）は、 upstreamの急速な拡大、中流域の緩やかな成長、下流域の飽和といった地域固有の都市開発ダイナミクスを示す。
• GISAおよびGISD30と比較してISA-1はブロック状のアーティファクトを減らし、空間的な delineationを細かくする一方、SinoLC-1より精度が高く、特に密集都市部で過大評価を抑制している。