[论文解读] Efficient Self-Ensemble for Semantic Segmentation

Walid Bousselham, Guillaume Thibault+5 more|arXiv (Cornell University)|Nov 26, 2021

Machine Learning and Data Classification被引用 15

一句话总结

本文提出 SenFormer，一种用于语义分割的轻量化自集成方法，通过利用特征金字塔网络（FPN）的多尺度特征，在单个模型内训练独立解码器，避免了传统集成方法的高训练成本。通过使用跨解码器共享权重的共享Transformer解码器，并采用平均聚合预测结果，SenFormer在Pascal Context（64.0 mIoU）和COCO-Stuff-10K（51.5 mIoU）上实现了最先进性能，优于先前方法的同时降低了FLOPs和参数量。

ABSTRACT

Ensemble of predictions is known to perform better than individual predictions taken separately. However, for tasks that require heavy computational resources, e.g. semantic segmentation, creating an ensemble of learners that needs to be trained separately is hardly tractable. In this work, we propose to leverage the performance boost offered by ensemble methods to enhance the semantic segmentation, while avoiding the traditional heavy training cost of the ensemble. Our self-ensemble approach takes advantage of the multi-scale features set produced by feature pyramid network methods to feed independent decoders, thus creating an ensemble within a single model. Similar to the ensemble, the final prediction is the aggregation of the prediction made by each learner. In contrast to previous works, our model can be trained end-to-end, alleviating the traditional cumbersome multi-stage training of ensembles. Our self-ensemble approach outperforms the current state-of-the-art on the benchmark datasets Pascal Context and COCO-Stuff-10K for semantic segmentation and is competitive on ADE20K and Cityscapes. Code is publicly available at github.com/WalBouss/SenFormer.

研究动机与目标

• 解决传统语义分割集成方法中训练多个模型带来的高计算成本问题。
• 通过将FPN的多尺度特征作为独立输入馈送到单个模型内的不同解码器，提升性能。
• 通过权重共享和高效架构设计，在保持或提升准确率的同时降低模型复杂度和FLOPs。
• 探究基于多尺度特征的自集成是否能超越UperNet等方法中的传统特征融合策略。
• 评估自集成在降低预测方差或捕捉深度学习模型中多视角表征方面的有效性。

提出的方法

• 模型通过主干网络和FPN进行一次前向传播，提取不同层级的多尺度特征图。
• FPN的每一层级特征被输入到一个独立的轻量化Transformer解码器中，形成单模型内的自集成。
• 最终语义分割输出通过平均所有解码器的预测结果获得，实现类似集成的性能，而无需单独训练。
• 通过在解码器之间递归应用共享的Transformer模块，减少参数量和过拟合，同时保持性能。
• 仅在每个解码器块内部应用权重共享，而非跨解码器共享，以保持模型独立性并提升泛化能力。
• 模型采用端到端训练，避免了传统集成方法中常见的多阶段训练流程。

实验结果

研究问题

• RQ1 是否可以通过使用FPN的多尺度特征实现自集成方法，从而在不训练多个模型的情况下提升语义分割性能？
• RQ2 在准确率和效率方面，每个FPN层级使用独立解码器是否优于如拼接等传统特征融合策略？
• RQ3 在保持集成学习性能增益的同时，能否通过跨解码器共享权重来减少模型参数量和FLOPs？
• RQ4 自集成带来的性能增益是否主要源于方差减少，还是如近期研究所示的多视角学习机制？
• RQ5 增加每个FPN层级的解码器数量是否能进一步提升性能，还是每个层级一个解码器已足够？

主要发现

• SenFormer在Pascal Context上达到64.0 mIoU，优于之前最先进方法3.0 mIoU。
• 在COCO-Stuff-10K上，SenFormer达到51.5 mIoU，超越先前最先进方法6.0 mIoU。
• 尽管性能更优，该模型在参数效率和计算效率（更低的FLOPs）方面优于UperNet。
• 当每个FPN层级的解码器超过一个时，性能不再提升，表明每个尺度一个解码器已足够。
• 跨解码器的权重共享会显著降低性能，证实模型独立性对自集成成功至关重要。
• 集成中预测的方差未显著降低，表明性能增益的主要机制并非方差减少。