[论文解读] Fairness Continual Learning Approach to Semantic Scene Understanding in Open-World Environments

Thanh-Dat Truong, Hoang-Quan Nguyen+2 more|arXiv (Cornell University)|May 25, 2023

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

该论文提出 FairCL，一种用于语义场景理解的新型公平性持续学习框架，通过原型对比聚类损失和条件结构一致性正则化，解决了灾难性遗忘和背景分布偏移问题。在 ADE20K、Cityscapes 和 Pascal VOC 基准上实现了最先进性能，同时通过最小化对高频类别的预测偏差，显著提升了类别分布不平衡情况下的公平性。

ABSTRACT

Continual semantic segmentation aims to learn new classes while maintaining the information from the previous classes. Although prior studies have shown impressive progress in recent years, the fairness concern in the continual semantic segmentation needs to be better addressed. Meanwhile, fairness is one of the most vital factors in deploying the deep learning model, especially in human-related or safety applications. In this paper, we present a novel Fairness Continual Learning approach to the semantic segmentation problem. In particular, under the fairness objective, a new fairness continual learning framework is proposed based on class distributions. Then, a novel Prototypical Contrastive Clustering loss is proposed to address the significant challenges in continual learning, i.e., catastrophic forgetting and background shift. Our proposed loss has also been proven as a novel, generalized learning paradigm of knowledge distillation commonly used in continual learning. Moreover, the proposed Conditional Structural Consistency loss further regularized the structural constraint of the predicted segmentation. Our proposed approach has achieved State-of-the-Art performance on three standard scene understanding benchmarks, i.e., ADE20K, Cityscapes, and Pascal VOC, and promoted the fairness of the segmentation model.

研究动机与目标

• 为解决由类别分布不平衡引起的持续语义分割中的公平性问题，特别是对频繁出现或像素数量较多类别的偏差。
• 在无法访问先前数据的持续学习设置中，缓解灾难性遗忘和背景分布偏移问题。
• 开发一种通用的知识蒸馏范式，以提升增量学习步骤中模型的稳定性和公平性。
• 通过条件约束机制增强分割预测的结构一致性。
• 在开放世界、增量学习设置下，通过标准基准对所提方法进行实证验证。

提出的方法

• 从类别级别的错误率推导出公平性度量，并用于定义一个公平性目标，该目标对具有不同像素分布的类别之间的偏差预测施加惩罚。
• 提出一种新颖的原型对比聚类损失，以保留先前类别的特征表示，有效作为广义知识蒸馏方法，在不同任务之间对齐原型。
• 条件结构一致性损失通过鼓励增量学习步骤中相邻像素预测的一致性，强制实现分割预测的空间一致性。
• 整体训练目标结合了任务特定损失、公平性目标和结构约束，联合优化准确率、公平性和稳定性。
• 该框架采用 ResNet 和 Transformer 主干网络实现，并在 ADE20K、Cityscapes 和 Pascal VOC 上，基于 50-50 和 100-100 增量学习协议进行评估。
• 该方法利用数据集的类别分布统计信息，动态调整公平性目标的权重，确保训练过程中不会忽略少数类。

实验结果

研究问题

• RQ1 在类别分布不平衡的情况下，如何形式化定义并测量持续语义分割中的公平性？
• RQ2 基于对比聚类的损失在多大程度上可以缓解语义分割持续学习中的灾难性遗忘和背景分布偏移？
• RQ3 在开放世界、增量学习场景下，公平性感知目标能否提升模型泛化能力并减少对高频类别的偏差？
• RQ4 条件结构一致性损失如何有助于在新旧类别之间保持空间一致性和预测可靠性？
• RQ5 所提出的框架是否在多个标准基准上同时实现了最先进性能并提升了公平性指标？

主要发现

• 在 ADE20K 100-50 基准上，FairCL 使用 SegFormer 主干网络实现了 35.15% 的最终 mIoU，优于先前最先进方法（33.50%）。
• 在 ADE20K 50-50 基准上，FairCL 使用 ResNet 实现了 34.55% 的 mIoU，使用 SegFormer 实现了 35.15% 的 mIoU，均超过先前最先进水平（33.50%）。
• 在 Cityscapes 11-5 任务中，FairCL 使用 Transformer 主干网络实现了 67.85% 的 mIoU，优于先前方法。
• 在 Pascal VOC 15-1 任务中，FairCL 使用 SegFormer 实现了 61.5% 的 mIoU，优于先前最先进水平（59.4%）。
• 在使用 Transformer 主干网络的 ADE20K 上，条件结构一致性损失将初始类别的 mIoU 从 43.35% 提升至 43.56%，将新类别的 mIoU 从 23.50% 提升至 25.46%。
• 类别 0–100 和 101–150 的 IoU 标准差分别从 19.03% 降至 18.71%，从 20.75% 降至 19.99%，表明公平性得到改善。