[论文解读] Graph Information Bottleneck for Remote Sensing Segmentation

Yuntao Shou, Wei Ai+2 more|arXiv (Cornell University)|Dec 5, 2023

Advanced Graph Neural Networks被引用 5

一句话总结

该论文提出了一种用于遥感图像分割的图信息瓶颈方法（GIB-RSS），这是一种基于图神经网络的新方法，通过将遥感图像建模为自适应、掩码化的图结构，以增强特征表示。通过将信息瓶颈理论整合到图对比学习中，该方法在最大化与任务相关的信息的同时，最小化冗余的、与任务无关的特征，从而在多个基准数据集上实现了最先进性能，mIoU得分在Potsdam数据集上达到87.8%，在LoveDA数据集上达到54.1%。

ABSTRACT

Remote sensing segmentation has a wide range of applications in environmental protection, and urban change detection, etc. Despite the success of deep learning-based remote sensing segmentation methods (e.g., CNN and Transformer), they are not flexible enough to model irregular objects. In addition, existing graph contrastive learning methods usually adopt the way of maximizing mutual information to keep the node representations consistent between different graph views, which may cause the model to learn task-independent redundant information. To tackle the above problems, this paper treats images as graph structures and introduces a simple contrastive vision GNN (SC-ViG) architecture for remote sensing segmentation. Specifically, we construct a node-masked and edge-masked graph view to obtain an optimal graph structure representation, which can adaptively learn whether to mask nodes and edges. Furthermore, this paper innovatively introduces information bottleneck theory into graph contrastive learning to maximize task-related information while minimizing task-independent redundant information. Finally, we replace the convolutional module in UNet with the SC-ViG module to complete the segmentation and classification tasks of remote sensing images. Extensive experiments on publicly available real datasets demonstrate that our method outperforms state-of-the-art remote sensing image segmentation methods.

研究动机与目标

• 为解决CNN和Transformer在建模遥感图像中不规则目标方面的局限性。
• 克服现有图对比学习方法中因最大化视图间互信息而导致的与任务无关冗余问题。
• 开发一种灵活的端到端GNN架构，通过自适应掩码节点和边以改善特征学习。
• 将信息瓶颈理论整合到图对比学习中，以保留与任务相关的语义信息，同时最小化冗余信息。
• 通过自适应图增强和紧凑、互补的视图表示，提升遥感图像分割性能。

提出的方法

• 该方法通过在端到端训练过程中联合优化节点和边的掩码，构建一个可学习的自适应图对比视图，以改善节点表示。
• 提出一种基于信息瓶颈理论的图对比学习模块，通过最小化原始图与增强视图之间的互信息，同时保留与任务相关的特征。
• SC-ViG架构用基于GNN的模块替代UNet中的卷积编码器，该模块利用多头注意力机制和前馈网络以捕获全局上下文和提升特征多样性。
• 采用K近邻图构建方法，K值调优至15，以在信息聚合与过度平滑之间取得最佳平衡。
• 通过信息瓶颈融合多个图视图，生成紧凑且互补的表示，用于下游分割任务。
• 该方法在遥感数据集上进行端到端训练，以mIoU为主要评估指标。

实验结果

研究问题

• RQ1 在图对比学习中采用自适应节点和边掩码是否能提升遥感图像中不规则目标的特征表示？
• RQ2 将信息瓶颈理论整合到图对比学习中是否能减少与任务无关的冗余信息，同时保留与任务相关的语义？
• RQ3 所提出的SC-ViG架构与标准GNN以及CNN/Transformer基线模型在遥感图像分割任务中的表现如何比较？
• RQ4 在此背景下，图卷积的最优邻居数K是多少？其对模型性能有何影响？
• RQ5 所提出方法是否能在具有不同目标规则性和场景复杂度的多样化遥感数据集上实现良好泛化？

主要发现

• 所提出的GIB-RSS模型在四个公开遥感数据集上均达到最先进性能，mIoU得分分别为：UAVid数据集70.6%，Vaihingen数据集85.3%，Potsdam数据集87.8%，LoveDA数据集54.1%。
• 消融实验证实，同时使用节点和边掩码视图的模型mIoU最高，优于无掩码（67.5%、81.8%、86.2%、53.0%）或仅使用单一掩码类型的情况。
• 最优邻居数K为15，因为mIoU在此值达到峰值，而K > 15时性能下降，表明信息丰富度与过度平滑之间存在权衡。
• 在图卷积变体中，GAT表现最佳（Potsdam数据集mIoU达87.8%），归因于其注意力机制能有效捕捉关键区域特征。
• 将信息瓶颈整合到图对比学习中，能有效减少与任务无关的信息，提升模型的泛化能力与鲁棒性。
• 该模型在多样化数据集上表现出强大的泛化能力，包括具有复杂不规则目标（如道路和树木）的场景。