[论文解读] LEFormer: A Hybrid CNN-Transformer Architecture for Accurate Lake Extraction from Remote Sensing Imagery

Ben Chen, Xuechao Zou+5 more|arXiv (Cornell University)|Aug 8, 2023

Flood Risk Assessment and ManagementEnvironmental Science被引用 3

一句话总结

LEFormer 提出了一种轻量级混合 CNN-Transformer 架构，用于从遥感图像中精确提取湖泊，结合 CNN 编码器与多尺度空间-通道注意力机制，以及轻量级 Transformer 编码器与交叉注意力融合，实现了最先进性能。在 Surface Water 数据集上达到 90.86% 的 mIoU，在青海-西藏高原湖泊数据集上达到 97.42%，参数量仅为 3.61M，相比先前方法在准确率和效率上均有提升，且参数量减少 20 倍。

ABSTRACT

Lake extraction from remote sensing images is challenging due to the complex lake shapes and inherent data noises. Existing methods suffer from blurred segmentation boundaries and poor foreground modeling. This paper proposes a hybrid CNN-Transformer architecture, called LEFormer, for accurate lake extraction. LEFormer contains three main modules: CNN encoder, Transformer encoder, and cross-encoder fusion. The CNN encoder effectively recovers local spatial information and improves fine-scale details. Simultaneously, the Transformer encoder captures long-range dependencies between sequences of any length, allowing them to obtain global features and context information. The cross-encoder fusion module integrates the local and global features to improve mask prediction. Experimental results show that LEFormer consistently achieves state-of-the-art performance and efficiency on the Surface Water and the Qinghai-Tibet Plateau Lake datasets. Specifically, LEFormer achieves 90.86% and 97.42% mIoU on two datasets with a parameter count of 3.61M, respectively, while being 20 minor than the previous best lake extraction method. The source code is available at https://github.com/BastianChen/LEFormer.

研究动机与目标

• 解决遥感图像中复杂湖泊形状与噪声数据带来的湖泊分割挑战。
• 提升湖泊提取中的边界精度与前景建模能力，这些能力受限于现有 CNN 和 Transformer 模型。
• 设计一种轻量级、高效的架构，结合局部与全局特征提取，以实现卓越性能。
• 在基准湖泊分割数据集上，实现准确率与计算效率的最先进结果。

提出的方法

• 该模型使用带有深度可分离卷积的 CNN 编码器，以及多尺度空间-通道注意力（MSCA）模块，以增强局部空间细节与多尺度特征提取。
• 轻量级 Transformer 编码器采用基于图像块的处理方式，捕获长距离依赖关系与全局上下文信息，同时降低计算成本。
• 交叉编码器融合模块将 CNN 与 Transformer 编码器的特征进行整合，以提升最终掩码预测性能。
• MSCA 模块结合空洞卷积与 CBAM，动态关注多尺度特征，提升表征能力。
• 架构通过分阶段下采样与注意力机制进行优化，超参数经调优以兼顾效率与准确率。
• 模型在 Surface Water 与青海-西藏高原湖泊数据集上端到端训练，使用标准分割损失函数。

实验结果

研究问题

• RQ1 混合 CNN-Transformer 架构能否提升遥感图像中湖泊提取的边界精度与前景建模能力？
• RQ2 结合局部特征学习（CNN）与全局特征学习（Transformer）对复杂湖泊数据集的分割性能有何影响？
• RQ3 在湖泊分割任务中，模型复杂度、参数量与性能之间的最优平衡点是什么？
• RQ4 多尺度注意力与交叉编码器融合在多大程度上增强了特征表征与分割精度？

主要发现

• LEFormer 在 Surface Water 数据集上达到 90.86% 的 mIoU，在青海-西藏高原湖泊数据集上达到 97.42%，创下新的最先进性能记录。
• 模型仅使用 3.61 百万个参数与 12.7 亿 FLOPs，相比先前最佳方法 MSNANET，参数量减少 20 倍，FLOPs 效率提升 48 倍。
• 消融实验表明，CNN 搭配 MSCA 与 Transformer 搭配 PTL（基于图像块的自注意力）的组合取得最高准确率，其中 MSCA 在 SW 数据集上提升 0.17% mIoU，在 QTPL 数据集上提升 0.20% mIoU。
• 引入深度可分离卷积与 MSCA 分别使 mIoU 提升 0.28% 与 0.17%，证明其在特征学习中的有效性。
• 移除 CNN 编码器或 PTL 分别导致 mIoU 下降 0.38% 与 0.07%，证实二者在性能中的关键作用。
• 在两个数据集上，LEFormer 在准确率与效率方面均优于所有对比方法，包括 SegFormer、SegNeXt 与 MSNANET。