[论文解读] Joint Super-Resolution and Segmentation for 1-m Impervious Surface Area Mapping in China's Yangtze River Economic Belt

Jie Deng, Danfeng Hong+2 more|ArXiv.org|May 8, 2025

Advanced Image Fusion Techniques被引用 3

一句话总结

论文提出 JointSeg 框架，通过逐步超分辨率到 1 米并执行基于 SR 的语义分割，从 Sentinel-2 10 米数据生成 1 米 ISA 映射，应用于长江流域经济带（YREB）对。

ABSTRACT

We propose a novel joint framework by integrating super-resolution and segmentation, called JointSeg, which enables the generation of 1-meter ISA maps directly from freely available Sentinel-2 imagery. JointSeg was trained on multimodal cross-resolution inputs, offering a scalable and affordable alternative to traditional approaches. This synergistic design enables gradual resolution enhancement from 10m to 1m while preserving fine-grained spatial textures, and ensures high classification fidelity through effective cross-scale feature fusion. This method has been successfully applied to the Yangtze River Economic Belt (YREB), a region characterized by complex urban-rural patterns and diverse topography. As a result, a comprehensive ISA mapping product for 2021, referred to as ISA-1, was generated, covering an area of over 2.2 million square kilometers. Quantitative comparisons against the 10m ESA WorldCover and other benchmark products reveal that ISA-1 achieves an F1-score of 85.71%, outperforming bilinear-interpolation-based segmentation by 9.5%, and surpassing other ISA datasets by 21.43%-61.07%. In densely urbanized areas (e.g., Suzhou, Nanjing), ISA-1 reduces ISA overestimation through improved discrimination of green spaces and water bodies. Conversely, in mountainous regions (e.g., Ganzi, Zhaotong), it identifies significantly more ISA due to its enhanced ability to detect fragmented anthropogenic features such as rural roads and sparse settlements, demonstrating its robustness across diverse landscapes. Moreover, we present biennial ISA maps from 2017 to 2023, capturing spatiotemporal urbanization dynamics across representative cities. The results highlight distinct regional growth patterns: rapid expansion in upstream cities, moderate growth in midstream regions, and saturation in downstream metropolitan areas.

研究动机与目标

• 使用开放获取数据（Sentinel-2）在大区域内动机化精细尺度 ISA 映射，以克服高分辨率数据成本和覆盖差距。
• 开发覆盖 10 m 到 1 m 的大尺度高分辨率 ISA 数据集（ISASeg），并具备相应的 ISA 标签。
• 提出 Prog-ESRGAN，使 10 m 图像逐步上采样到 1 m，同时保留纹理以实现准确分割。
• 将超分辨结果与 Mask2Former 集成，生成 1 m ISA 映射（ISA-1），并扩展至 select cities 的两年序列时间（2017–2023）。

提出的方法

• 通过使用 Sentinel-2 2021 年复合影像和吉林一号高分辨率影像作为高分目标，在上游/中游/下游子区域进行分层抽样来构建 ISASeg。
• 开发 Prog-ESRGAN，这是一个两阶段的渐进式超分辨网络，先将 10 m 提升到 2.5 m，再将上采样结果与第二阶段 ESRGAN 融合以实现 ×10；使用带光谱归一化的 U-Net 判别器和两个阶段的双判别器。
• 用 L1（偏向 PSNR）训练 Prog-ESRGAN，随后用 L1、感知和对抗损失微调，以产生鲁棒的 1 m 输出。
• 使用 Mask2Former 在 1 m SR 输出上执行 SR-based 语义分割，使直接从 10 m Sentinel-2 输入得到端到端的 1 m ISA 映射。
• 将训练好的 JointSeg 流水线应用于整個 YREB（2.4 百万平方公里）的 ISA-1 映射，以及六个代表性城市在 2017–2023 的两年间隔映射。

实验结果

研究问题

• RQ1 渐进式超分辨率框架是否能够有效地将 Sentinel-2 10 m 图像提升到 1 m，同时保留对 ISA 区分至关重要的特征？
• RQ2 将 SR 与基于 Transformer 的分割模型（Mask2Former）结合，是否能从 freely available 数据获得准确的 1 m ISA 映射？
• RQ3 与现有的 10 m 和 30 m ISA 数据集相比，1 m ISA 产品（ISA-1）在不同地形上的精度、召回率和总体准确性如何？
• RQ4 该方法是否能够捕捉 2017–2023 期间长江流域经济带的 ISA 时空动态？

主要发现

• ISA-1 在 F1（75.53%）和总体精度（93.73%）方面高于同类数据集的 ISA 类和总体水平，优于 10 m 与 30 m 基线。
• 在城市核心区（如南京、苏州），ISA-1 通过更好地区分绿地/蓝地与不透水表面并保持边界，降低了对 ISA 的过度估计。
• 在山区区域（如甘孜、昭通），ISA-1 能检测到比较低分辨率数据集更多的碎片化 ISA 特征（农村道路、稀疏聚居点），在不同地貌下表现出鲁棒性。
• 两年期 ISA 映射（2017–2023）呈现区域性增长模式：上游迅速扩张、中游适度增长、下游趋于饱和，反映区域特定的城市发展动态。
• 与 GISA 和 GISD30 相比，ISA-1 减少块状伪影、提供更精细的空间界定，同时在精度方面优于 SinoLC-1，并减少在密集城市区域的过估计。