[论文解读] Decoder Denoising Pretraining for Semantic Segmentation

Emmanuel Brempong Asiedu, Simon Kornblith+4 more|arXiv (Cornell University)|May 23, 2022

Advanced Neural Network Applications被引用 10

一句话总结

本文提出解码器去噪预训练（DDeP），一种通过在ImageNet上对语义分割模型的解码器头进行去噪自编码预训练的方法，显著提升了性能，尤其在低标签数据设置下表现突出。当与监督式编码器预训练结合时，DDeP在Cityscapes、Pascal Context和ADE20K数据集上均达到当前最优结果，即使在使用完整训练集的情况下，也优于标准的仅预训练编码器的方法。

ABSTRACT

Semantic segmentation labels are expensive and time consuming to acquire. Hence, pretraining is commonly used to improve the label-efficiency of segmentation models. Typically, the encoder of a segmentation model is pretrained as a classifier and the decoder is randomly initialized. Here, we argue that random initialization of the decoder can be suboptimal, especially when few labeled examples are available. We propose a decoder pretraining approach based on denoising, which can be combined with supervised pretraining of the encoder. We find that decoder denoising pretraining on the ImageNet dataset strongly outperforms encoder-only supervised pretraining. Despite its simplicity, decoder denoising pretraining achieves state-of-the-art results on label-efficient semantic segmentation and offers considerable gains on the Cityscapes, Pascal Context, and ADE20K datasets.

研究动机与目标

• 为解决在低数据设置下语义分割任务中随机初始化解码器头效率低下的问题。
• 探究预训练解码器（在以往研究中通常被忽略）是否能提升迁移性能。
• 开发一种简单而有效的基于去噪的解码器预训练方法，以补充现有的监督式或自监督式编码器预训练。
• 证明受扩散模型启发的去噪自编码器可为密集预测任务学习可迁移的表征。

提出的方法

• 在ImageNet上以监督分类方式预训练编码器，随后将其冻结。
• 利用冻结的编码器从含噪图像中提取特征，并训练解码器从这些特征中重建原始干净图像。
• 在输入图像上施加标准差为σ的高斯噪声，形成含噪输入ŝ = x + σϵ。
• 使用L2重建损失优化解码器：||gϕ(fθ(ŝ)) − x||²，其中仅更新解码器参数ϕ。
• 在添加噪声前对图像输入进行缩放，以提升训练稳定性和性能。
• 将该方法与标准的监督式编码器预训练结合，实现在语义分割任务上的端到端微调。

实验结果

研究问题

• RQ1 对语义分割模型的解码器头进行预训练是否能带来显著性能提升，尤其是在标注数据稀缺的情况下？
• RQ2 与仅对编码器进行监督预训练相比，解码器的去噪预训练效果如何？
• RQ3 在去噪目标中引入噪声缩放和噪声预测是否能改善分割任务的表征学习？
• RQ4 受扩散模型启发的去噪目标能否有效适配于语义分割中的解码器预训练？
• RQ5 将解码器去噪预训练与编码器预训练结合，是否能在多个基准数据集上持续带来性能提升？

主要发现

• 解码器去噪预训练（DDeP）显著提升了语义分割性能，尤其在仅使用少量标注训练数据时效果更明显。
• 在Pascal Context数据集上，即使仅使用10%的训练数据，DDeP的平均IoU也高于仅使用监督编码器预训练的方法。
• 在Cityscapes、ADE20K和Pascal Context数据集上，DDeP在所有数据设置下均优于标准的仅预训练编码器的方法，表现出一致的性能增益。
• 在标签高效设置下，DDeP在三个基准数据集上均达到当前最优性能，证实了解码器预训练的重要性。
• 在添加噪声前对输入图像进行缩放可提升去噪预训练的效果，表明其对输入分布具有敏感性。
• 即使在使用完整训练集时，DDeP带来的性能增益依然显著，表明随机初始化解码器在一般情况下并非最优选择。