[论文解读] A CNN-RNN Framework with a Novel Patch-Based Multi-Attention Mechanism for Multi-Label Image Classification in Remote Sensing.

Gencer Sumbül, Begüm Demir|arXiv (Cornell University)|Feb 28, 2019

Remote-Sensing Image Classification被引用 3

一句话总结

本文提出了一种新颖的CNN-RNN框架，结合基于图像块的多头注意力机制，用于多标签遥感图像分类。通过结合K-Branch CNN进行多分辨率特征提取、双向LSTM进行空间依赖性建模，以及跨土地覆盖类别的联合注意力机制，该方法在BigEarthNet基准上实现了最先进性能。

ABSTRACT

This paper presents a novel multi-attention driven system that jointly exploits Convolutional Neural Network (CNN) and Recurrent Neural Network (RNN) in the context of multi-label remote sensing (RS) image classification. The proposed system consists of four main modules. The first module aims to extract preliminary local descriptors of RS image bands that can be associated to different spatial resolutions. To this end, we introduce a K-Branch CNN, in which each branch extracts descriptors of image bands that have the same spatial resolution. The second module aims to model spatial relationship among local descriptors. This is achieved by a bidirectional RNN architecture, in which Long Short-Term Memory nodes enrich local descriptors by considering spatial relationships of local areas (image patches). The third module aims to define multiple attention scores for local descriptors. This is achieved by a novel patch-based multi-attention mechanism that takes into account the joint occurrence of multiple land-cover classes and provides the attention-based local descriptors. The last module exploits these descriptors for multi-label RS image classification. Experimental results obtained on the BigEarthNet that is a large-scale Sentinel-2 benchmark archive show the effectiveness of the proposed method compared to a state of the art method.

研究动机与目标

• 为解决遥感图像中多标签分类的挑战，即单一场景中多种土地覆盖类别共现。
• 通过联合建模土地覆盖类别的空间关系与共现模式，提升特征表示能力。
• 通过一种新型注意力机制，同时考虑多个标签，增强局部描述符的学习。
• 在大规模遥感数据集（如BigEarthNet）上实现卓越性能。

提出的方法

• 设计了K-Branch CNN，用于从多光谱图像波段中提取局部描述符，每个分支处理相同空间分辨率的波段。
• 通过按顺序处理局部描述符，双向长短期记忆（LSTM）网络用于建模图像块之间的空间关系。
• 提出了一种新型基于图像块的多头注意力机制，根据多个土地覆盖类别在图像块间的联合出现情况计算注意力得分。
• 该注意力机制通过强调与多标签预测相关的空间和语义上下文，优化局部描述符。
• 最终分类头利用注意力增强的描述符，对每幅图像预测多个标签。
• 整个框架通过多标签分类的交叉熵损失进行端到端训练。

实验结果

研究问题

• RQ1 一种联合建模多个土地覆盖类别共现关系的注意力机制，能否提升遥感图像中的多标签分类性能？
• RQ2 CNN与RNN架构的融合在捕捉多分辨率遥感图像中的局部纹理与空间上下文方面，效果如何？
• RQ3 基于图像块的多头注意力机制是否相比标准注意力机制，能带来更优的特征表示？
• RQ4 所提出的框架在大规模遥感基准上的表现，相较于当前最先进方法，优越程度如何？

主要发现

• 所提方法在BigEarthNet基准上实现了最先进性能，相比现有方法表现出更高的分类准确率。
• 将双向LSTM与局部描述符结合，显著提升了对图像块间空间依赖性的建模能力。
• 基于图像块的多头注意力机制有效捕捉了多个土地覆盖类别的共现模式，增强了特征的判别能力。
• K-Branch CNN实现了有效的多分辨率特征提取，提升了对遥感图像中不同空间尺度的鲁棒性。
• 消融实验证实，K-Branch CNN、双向LSTM和多头注意力机制每个组件均对整体性能有显著贡献。
• 该方法在大规模、多样化的遥感场景中表现出强大的泛化能力，尤其适用于土地覆盖组成复杂的场景。