[论文解读] Cooperative Semantic Segmentation and Image Restoration in Adverse Environmental Conditions

Weihao Xia, Zhanglin Cheng+2 more|arXiv (Cornell University)|Nov 2, 2019

Advanced Image Processing Techniques参考文献 46被引用 5

一句话总结

本文提出了一种协作式深度学习框架，在噪声、模糊和雾霾等恶劣条件下联合执行语义分割与图像恢复。通过利用语义引导的自适应与样本引导的生成，该方法同时提升了分割精度与图像恢复质量，在RainCityscapes、FoggyCityscapes和ReflectCityscapes数据集上实现了最先进性能，PSNR分别达到32.41、32.64和32.06。

ABSTRACT

Most state-of-the-art semantic segmentation approaches only achieve high accuracy in good conditions. In practically-common but less-discussed adverse environmental conditions, their performance can decrease enormously. Existing studies usually cast the handling of segmentation in adverse conditions as a separate post-processing step after signal restoration, making the segmentation performance largely depend on the quality of restoration. In this paper, we propose a novel deep-learning framework to tackle semantic segmentation and image restoration in adverse environmental conditions in a holistic manner. The proposed approach contains two components: Semantically-Guided Adaptation, which exploits semantic information from degraded images to refine the segmentation; and Exemplar-Guided Synthesis, which restores images from semantic label maps given degraded exemplars as the guidance. Our method cooperatively leverages the complementarity and interdependence of low-level restoration and high-level segmentation in adverse environmental conditions. Extensive experiments on various datasets demonstrate that our approach can not only improve the accuracy of semantic segmentation with degradation cues, but also boost the perceptual quality and structural similarity of image restoration with semantic guidance.

研究动机与目标

• 解决语义分割模型在噪声、模糊和雾霾等恶劣环境条件下性能下降的问题。
• 克服传统后处理图像恢复流水线因恢复效果不理想而损害分割性能的局限性。
• 利用低层次图像恢复与高层次语义分割之间的相互依赖关系，同时提升两个任务的性能。
• 构建一个整体性框架，利用语义线索优化分割结果，同时利用分割结果指导图像恢复。
• 在多种退化类型（包括雨天、雾霾和反光）下，于基准数据集上展示卓越性能。

提出的方法

• 提出双组件框架：语义引导自适应与样本引导生成，以协作方式运行。
• 实现精炼网络，利用退化图像特征与语义上下文对分割预测进行优化。
• 设计恢复网络，基于语义标签图与退化样本重建高质量图像。
• 采用多任务学习目标联合训练两个网络，平衡分割精度与图像恢复保真度。
• 结合感知损失与结构相似性（SSIM）损失，以及交叉熵损失，以增强恢复结果的真实感与一致性。
• 在精炼网络中引入退化感知特征，以利用噪声、模糊与压缩等线索，提升分割性能。

实验结果

研究问题

• RQ1 退化图像中的语义信息能否提升语义分割在恶劣条件下的鲁棒性？
• RQ2 语义分割结果能否在存在噪声、模糊或反光的情况下提升图像恢复质量？
• RQ3 协作学习框架是否在两个任务上均优于先恢复后分割的串行流水线？
• RQ4 低层次恢复与高层次分割之间的相互依赖关系如何影响真实世界退化数据集上的性能表现？
• RQ5 基于样本引导的生成能否仅利用语义图与退化输入，生成感知质量更优且结构更准确的恢复结果？

主要发现

• 在RainCityscapes上，该方法实现32.41的PSNR与0.9579的SSIM，优于最先进去雨方法DAF-Net（30.06 PSNR，0.9530 SSIM）。
• 在FoggyCityscapes上，该方法实现32.64的PSNR与0.9618的SSIM，超过MSCNN（29.36 PSNR，0.9317 SSIM）及其他领先去雾模型。
• 在ReflectCityscapes的反光去除任务中，该方法实现32.06的PSNR与0.9590的SSIM，优于ERRNet（30.80 PSNR，0.9369 SSIM）。
• 定性结果表明，该方法能有效去除雨痕、雾霾与反光，且未引入伪影，优于对比方法。
• 联合框架通过利用退化线索，即使在输入图像严重退化时，也能显著提升分割精度。
• 消融实验表明，与独立训练相比，协作设计显著提升了分割与恢复性能。