[论文解读] Multi-class segmentation under severe class imbalance: A case study in roof damage assessment
本文提出四种技术以改善从航拍影像中进行屋顶损伤评估时，在严重类别不平衡情况下的多类别语义分割。通过结合一种新颖的过采样策略与网络架构改进——辅助头、类别特定头以及Sigmoid激活——少数损伤类别（如轻微、严重、损毁）的宏平均F1分数准确率提升了39.9个百分点，显著优于基线模型。
The task of roof damage classification and segmentation from overhead imagery presents unique challenges. In this work we choose to address the challenge posed due to strong class imbalance. We propose four distinct techniques that aim at mitigating this problem. Through a new scheme that feeds the data to the network by oversampling the minority classes, and three other network architectural improvements, we manage to boost the macro-averaged F1-score of a model by 39.9 percentage points, thus achieving improved segmentation performance, especially on the minority classes.
研究动机与目标
- 解决从航拍影像中进行多类别语义分割时屋顶损伤存在的严重类别不平衡问题。
- 提升模型在灾后数据集中代表性不足的稀有损伤类别（如轻微、严重、损毁）上的性能。
- 评估并组合多种技术——采样策略与网络架构修改——以在数据稀缺条件下实现稳健性能。
- 证明这些方法能显著提升分割性能，尤其是在真实灾害响应场景中对少数类别的表现。
提出的方法
- 提出一种新颖的数据采样方案，确保每个训练批次中至少包含每个前景损伤类别的一个正样本，防止模型收敛至仅预测背景的退化解。
- 引入一个辅助头，每个损伤类别配备独立的损失头，以改善稀有类别的特征学习。
- 采用类别特定的独立头，并使用独立的Sigmoid激活函数，而非共享头，实现每个类别的独立优化。
- 将标准的Softmax输出替换为每个类别的Sigmoid激活，并对每个类别使用Dice损失，提升在类别不平衡数据上的训练稳定性。
- 使用修改后的U-Net主干网络，包含9层下采样、每分辨率3个卷积层、批归一化和ReLU激活，并为最终预测使用独立的U-Net头。
- 使用每个类别（背景除外）的Dice损失进行模型训练，并选择使验证损失最小的权重；通过微平均和宏平均F1分数评估性能。
实验结果
研究问题
- RQ1一种约束性采样策略，确保所有损伤类别在批次中保持多样性，对类别不平衡屋顶损伤分割的模型性能有何影响？
- RQ2诸如辅助头和类别特定头等架构改进，在提升稀有损伤类别分割性能方面能达到何种程度？
- RQ3在类别不平衡条件下，将共享分类头替换为类别特定的Sigmoid头，是否能提升多类别分割中少数类别的性能？
- RQ4不同的损失函数与激活函数组合（如Dice损失+sigmoid与交叉熵损失+softmax）对模型在类别不平衡设置下的收敛性和性能有何影响？
- RQ5结合多种技术——采样、架构修改与损失设计——是否能产生协同增益，显著提升分割准确率，尤其是少数类别？
主要发现
- 仅采用所提出的过采样方案，宏平均F1分数相比基线提升了35.9个百分点，证明其具有主导性影响。
- 采用全部四种技术的完整模型，宏平均F1分数提升了39.9个百分点，表明各项方法之间存在显著协同效应。
- 基线模型在所有少数类别（轻微损伤、严重损伤、损毁）上的F1分数均为零，凸显类别不平衡问题的严重性。
- 最终模型的混淆矩阵显示，最大的错误来源是损毁类别的假阴性，可能由于灾后影像中结构完全消失所致。
- 消融实验确认，四项技术均对性能有正向贡献，其中采样方法的个体影响最大。
- 最终模型显著减少了类别间的混淆，体现在归一化混淆矩阵中对角线主导性增强，尤其对以往易被误分类的少数类别表现更优。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。