[论文解读] Efficient Self-Ensemble Framework for Semantic Segmentation

Walid Bousselham, Guillaume Thibault+5 more|arXiv (Cornell University)|Nov 26, 2021

Advanced Neural Network Applications参考文献 46被引用 12

一句话总结

本文提出一种用于语义分割的自集成框架，通过特征金字塔网络中的多尺度特征在单个模型内生成多个预测，实现端到端训练，无需单独训练多个模型。该方法在 ADE20K、Pascal Context 和 COCO-Stuff-10K 数据集上达到最先进性能，通过聚合独立解码器的预测结果，在显著降低训练成本的同时提升准确率。

ABSTRACT

Ensemble of predictions is known to perform better than individual predictions taken separately. However, for tasks that require heavy computational resources, extit{e.g.} semantic segmentation, creating an ensemble of learners that needs to be trained separately is hardly tractable. In this work, we propose to leverage the performance boost offered by ensemble methods to enhance the semantic segmentation, while avoiding the traditional heavy training cost of the ensemble. Our self-ensemble framework takes advantage of the multi-scale features set produced by feature pyramid network methods to feed independent decoders, thus creating an ensemble within a single model. Similar to the ensemble, the final prediction is the aggregation of the prediction made by each learner. In contrast to previous works, our model can be trained end-to-end, alleviating the traditional cumbersome multi-stage training of ensembles. Our self-ensemble framework outperforms the current state-of-the-art on the benchmark datasets ADE20K, Pascal Context and COCO-Stuff-10K for semantic segmentation and is competitive on Cityscapes. Code will be available at github.com/WalBouss/SenFormer.

研究动机与目标

• 解决传统语义分割集成方法中训练多个模型带来的高计算成本问题。
• 开发一种方法，在不单独训练各个模型的情况下实现集成级别的性能。
• 利用特征金字塔网络的多尺度特征，在单一架构内构建多样化且独立的解码器。
• 实现自集成框架的端到端训练，避免传统集成方法复杂的多阶段训练流程。
• 在保持计算效率的同时，提升基准数据集上的语义分割准确率。

提出的方法

• 该框架使用特征金字塔网络提取多尺度特征，作为多个独立解码器的输入。
• 每个解码器生成独立的分割预测，模拟单个模型内的集成效果。
• 最终预测通过聚合所有解码器的输出获得，通常采用投票或平均的方式。
• 整个模型实现端到端训练，允许所有组件的联合优化，无需分阶段微调。
• 架构设计确保各解码器之间保持高度的特征多样性，以增强集成的泛化能力。
• 该方法避免了知识蒸馏或单独的训练阶段，简化了训练与推理过程。

实验结果

研究问题

• RQ1 单个深度学习模型是否能在不训练多个模型的情况下实现语义分割的集成级别性能？
• RQ2 如何有效利用多尺度特征在单一架构内构建多样化且独立的解码器？
• RQ3 自集成框架的端到端训练是否能在准确率和效率方面超越传统多阶段集成训练？
• RQ4 自集成框架在标准语义分割基准上的性能提升程度如何？
• RQ5 所提出的方法是否在实现最先进结果的同时保持计算效率？

主要发现

• 自集成框架在 ADE20K 数据集上达到最先进性能，超越先前方法。
• 在 Pascal Context 数据集上创下新的最先进结果，展现出在多样化场景中的强大泛化能力。
• 在 COCO-Stuff-10K 上实现具有竞争力的性能，表明其对不同数据集分布的鲁棒性。
• 该框架在所有三个基准上均优于现有方法，且可在单一端到端阶段完成训练。
• 与传统集成方法相比，该方法显著降低了训练成本，因为无需单独训练模型。
• 通过联合训练的多个解码器的预测聚合，提升了分割准确率，同时未增加推理复杂度。