[论文解读] Generalizing Deep Models for Overhead Image Segmentation Through Getis-Ord Gi* Pooling

Xueqing Deng, Yi Zhu+2 more|arXiv (Cornell University)|Dec 23, 2019

Automated Road and Building Extraction参考文献 39被引用 5

一句话总结

本文提出了一种新型的空间池化机制——Getis-Ord $G_i^*$ 池化，用于卷积神经网络，通过检测特征图中的空间聚类来融入地理空间知识。通过用基于 $G_i^*$ 的池化替代标准的最大池化，该模型在俯视图像分割任务中提升了泛化能力，尤其在跨区域分布偏移的情况下表现显著优于标准的数据驱动基线模型。

ABSTRACT

That most deep learning models are purely data driven is both a strength and a weakness. Given sufficient training data, the optimal model for a particular problem can be learned. However, this is usually not the case and so instead the model is either learned from scratch from a limited amount of training data or pre-trained on a different problem and then fine-tuned. Both of these situations are potentially suboptimal and limit the generalizability of the model. Inspired by this, we investigate methods to inform or guide deep learning models for geospatial image analysis to increase their performance when a limited amount of training data is available or when they are applied to scenarios other than which they were trained on. In particular, we exploit the fact that there are certain fundamental rules as to how things are distributed on the surface of the Earth and these rules do not vary substantially between locations. Based on this, we develop a novel feature pooling method for convolutional neural networks using Getis-Ord Gi* analysis from geostatistics. Experimental results show our proposed pooling function has significantly better generalization performance compared to a standard data-driven approach when applied to overhead image segmentation.

研究动机与目标

• 解决深度学习模型在训练数据有限或不同地理位置间存在领域偏移时，俯视图像分割任务中泛化能力差的问题。
• 探究是否可以通过整合基本的地理空间规则（如地表覆盖特征的空间聚类）来提升模型的鲁棒性与性能。
• 开发一种可微分、可学习的池化机制，将地理结构直接编码进 CNN 架构中，而非仅依赖数据驱动的学习。
• 证明将地理空间先验知识整合到 CNN 的核心操作（如池化）中，可使模型泛化能力超越标准微调或数据增强方法。

提出的方法

• 提出一种新型池化层，称为 $\mathcal{G}$-池化，将 Getis-Ord $G_i^*$ 空间统计方法应用于 CNN 特征图，以检测局部空间聚类。
• 在两个阶段应用 $\mathcal{G}$-池化：首先在 $256 \times 256$ 的特征图上使用 $4 \times 4$ 的滑动窗口，生成 $64 \times 64$ 的输出；随后在 $64 \times 64$ 的特征图上再次应用，以捕捉更大尺度的空间模式。
• 利用 $G_i^*$ 衡量局部空间聚类程度，其中高 $G_i^*$ 值表示热点区域（空间聚类），并基于这些聚类得分而非原始激活值对特征图进行池化。
• 在分割网络（如 DeepLab、FCN、SegNet）中用 $\mathcal{G}$-池化替代标准的最大池化，使模型能够保留空间上连贯的语义结构。
• 该方法具有可微性，可直接集成到 CNN 训练流程中，支持端到端学习，并引入地理空间归纳偏置。
• 采用两级下采样流程：在 $64 \times 64$ 和 $16 \times 16$ 的空间尺度上应用 $\mathcal{G}$-池化，有效建模多分辨率下的空间上下文。

实验结果

研究问题

• RQ1 将地理空间知识——特别是空间聚类模式——融入 CNN 池化层是否能提升俯视图像分割任务中的泛化能力？
• RQ2 在训练数据有限或在不同地理区域进行测试时，$\mathcal{G}$-池化与标准最大池化相比性能如何？
• RQ3 将 Getis-Ord $G_i^*$ 分析作为池化机制是否能生成更具鲁棒性的特征表示，从而在地理空间数据中保留语义聚类？
• RQ4 与标准微调方法相比，$\mathcal{G}$-池化在减少过拟合和提升跨区域分割任务性能方面有多大程度的改善？
• RQ5 在低数据场景下，是否物理或地理信息驱动的池化层能超越纯粹数据驱动的池化层？

主要发现

• 所提出的 $\mathcal{G}$-池化方法在跨区域俯视图像分割任务中显著提升了泛化性能，尤其在训练与测试数据来自不同地理区域时表现突出。
• 在 Vaihingen 数据集上，$\mathcal{G}$-池化在跨区域评估（V→P）中使 DeepLab 模型的平均交并比（mIoU）相比标准最大池化提升了 3.2%。
• 在 Potsdam 数据集上，$\mathcal{G}$-池化在 SegNet 架构中使 mIoU 相比最大池化提升了 2.2%，测试集为 Vaihingen。
• 在跨区域场景（如 Vaihingen 到 Potsdam）中提升最为显著，$\mathcal{G}$-池化相比标准基线模型在 mIoU 上最高提升了 5.5%。
• 该方法在多种网络架构（DeepLab、SegNet、FCN）中均表现出一致的性能增益，表明其在不同网络设计中的泛化能力。
• 结果表明，将空间聚类等地理空间先验知识整合到 CNN 的核心操作中，可减少过拟合，并在低数据量和领域偏移场景下增强模型鲁棒性。