[论文解读] A Consensual Collaborative Learning Method for Remote Sensing Image Classification Under Noisy Multi-Labels

Ahmet Aksoy, Mahdyar Ravanbakhsh+2 more|arXiv (Cornell University)|May 12, 2021

Text and Document Classification Technologies参考文献 21被引用 11

一句话总结

本文提出了一种共识协作多标签学习（CCML）方法，以解决遥感图像分类中噪声多标签标注的问题。通过利用两个具有差异模块的协作卷积神经网络（CNN）实现特征多样性，采用组套索（group lasso）进行不确定性估计，引入翻转模块进行标签修正，以及引入交换模块实现排序信息交换，CCML 能够自动识别并修正缺失和错误的标签，在 ResNet 和 DenseNet 主干网络下，于高达 50% 的合成噪声率下实现了最先进性能。

ABSTRACT

Collecting a large number of reliable training images annotated by multiple land-cover class labels in the framework of multi-label classification is time-consuming and costly in remote sensing (RS). To address this problem, publicly available thematic products are often used for annotating RS images with zero-labeling-cost. However, such an approach may result in constructing a training set with noisy multi-labels, distorting the learning process. To address this problem, we propose a Consensual Collaborative Multi-Label Learning (CCML) method. The proposed CCML identifies, ranks and corrects training images with noisy multi-labels through four main modules: 1) discrepancy module; 2) group lasso module; 3) flipping module; and 4) swap module. The discrepancy module ensures that the two networks learn diverse features, while obtaining the same predictions. The group lasso module detects the potentially noisy labels by estimating the label uncertainty based on the aggregation of two collaborative networks. The flipping module corrects the identified noisy labels, whereas the swap module exchanges the ranking information between the two networks. The experimental results confirm the success of the proposed CCML under high (synthetically added) multi-label noise rates. The code of the proposed method is publicly available at https://noisy-labels-in-rs.org

研究动机与目标

• 为解决使用主题产品（如 CLC 或 GlobCover）进行零成本标注时，遥感图像分类中出现的噪声多标签标注问题。
• 开发一种无需对噪声类型作先验假设，即可检测并修正缺失和错误类别标签的方法。
• 构建一种架构无关的鲁棒框架，提升在高标签噪声条件下的多标签分类性能。
• 减轻在多标签遥感应用中，由偶然性不确定性（标签噪声）对深度学习模型造成的负面影响。

提出的方法

• CCML 框架使用两个参数共享的相同 CNN（f 和 g），通过差异模块在保持一致预测的同时学习多样化特征。
• 差异模块通过中间层特征之间的最大均值差异（MMD）损失强制实现特征多样性，同时通过一致性损失确保最终预测的一致性。
• 组套索模块通过基于双网络聚合预测的样本级排序损失，估计标签不确定性，从而识别噪声标签。
• 翻转模块通过翻转高不确定性预测来修正标签，而交换模块则交换排序信息，并将高度噪声样本从反向传播中排除。
• 该方法使用联合损失函数进行训练，平衡二元交叉熵损失、一致性损失与差异损失，其中可学习权重为 λ1 和 λ2。
• 该方法具有架构无关性，可与多种主干网络（如 ResNet 和 DenseNet）集成。

实验结果

研究问题

• RQ1 在不假设噪声类型的情况下，协作学习框架能否有效检测并修正遥感图像中的缺失和错误多标签标注？
• RQ2 在高合成标签噪声率（如 40–50%）下，所提出的 CCML 方法相较于标准深度学习基线模型表现如何？
• RQ3 各个独立组件（差异模块、组套索、翻转模块、交换模块）对 CCML 整体性能的贡献程度如何？
• RQ4 在噪声训练条件下，该方法在不同主干网络架构（如 ResNet 和 DenseNet）上是否保持鲁棒性？

主要发现

• 在 50% 注入噪声率下，采用 ResNet 主干的 CCML 相较于基线 ResNet 模型，精度提升 25%，F1 分数提升 10%。
• 采用 DenseNet 主干时，CCML 在 50% 噪声率下精度提升 30%，F1 分数提升 15%，展现出跨架构的强鲁棒性。
• 在低训练样本数类别（如“沼泽、草原和硬叶植被”）下，该方法在高噪声条件下仍保持相对较高的性能，优于基线模型。
• 差异模块和交换模块被证明是基础性组件；若移除差异模块，将无法学习到多样化的表示，从而破坏协作学习的核心原则。
• 组套索模块对独立识别不同噪声类型至关重要；其移除将导致性能显著下降。
• 翻转模块具有延迟效应，其移除并未显著降低性能，表明模型对训练中该模块的触发时机具有鲁棒性。