[论文解读] DSAL-GAN: Denoising based Saliency Prediction with Generative Adversarial Networks

Prerana Mukherjee, Manoj Sharma+6 more|arXiv (Cornell University)|Apr 2, 2019

Visual Attention and Saliency Detection参考文献 10被引用 7

一句话总结

DSAL-GAN 提出了一种端到端的生成对抗网络框架，通过两个耦合的 GAN 联合执行图像去噪和显著性预测。该方法在含噪图像上实现了最先进性能，在噪声方差 σ=50 时，平均 F-measure 提升高达 16%，MAE 降低 47%，优于 Sal-GAN 和 Deep Saliency。

ABSTRACT

Synthesizing high quality saliency maps from noisy images is a challenging problem in computer vision and has many practical applications. Samples generated by existing techniques for saliency detection cannot handle the noise perturbations smoothly and fail to delineate the salient objects present in the given scene. In this paper, we present a novel end-to-end coupled Denoising based Saliency Prediction with Generative Adversarial Network (DSAL-GAN) framework to address the problem of salient object detection in noisy images. DSAL-GAN consists of two generative adversarial-networks (GAN) trained end-to-end to perform denoising and saliency prediction altogether in a holistic manner. The first GAN consists of a generator which denoises the noisy input image, and in the discriminator counterpart we check whether the output is a denoised image or ground truth original image. The second GAN predicts the saliency maps from raw pixels of the input denoised image using a data-driven metric based on saliency prediction method with adversarial loss. Cycle consistency loss is also incorporated to further improve salient region prediction. We demonstrate with comprehensive evaluation that the proposed framework outperforms several baseline saliency models on various performance benchmarks.

研究动机与目标

• 为解决现有方法因噪声误分类而在含噪图像中难以进行显著目标检测的问题。
• 开发一种统一的深度学习框架，联合优化去噪与显著性预测，以提升鲁棒性。
• 通过对抗训练和循环一致性损失，提升含噪条件下显著性图的质量。
• 在包含合成噪声的基准数据集上，证明其性能优于当前最先进的显著性检测模型。

提出的方法

• 该框架采用两个耦合的 GAN：第一个使用基于跳跃连接的生成器对输入图像进行去噪，并通过判别器区分去噪图像与真实图像。
• 第二个 GAN 使用类似 U-Net 的编码器-解码器生成器，从去噪图像中预测显著性图，并通过判别器区分预测显著性图与真实显著性图。
• 内容损失（L2）和对抗损失用于训练两个 GAN，以确保像素级保真度和输出分布的真实性。
• 在显著性预测分支中引入循环一致性损失，以改善结构一致性并优化显著性图边界。
• 整个网络通过预训练的去噪和显著性网络权重进行端到端训练，以实现联合优化。
• 模型在 MSRA-10k、ECSSD 和 SOD 数据集的合成含噪版本上进行评估，噪声类型为高斯噪声（σ ∈ [10, 30, 50, 80]）。

实验结果

研究问题

• RQ1 统一的 GAN 框架能否联合优化图像去噪与显著性预测，从而提升在含噪输入下的鲁棒性？
• RQ2 在含噪图像设置下，循环一致性损失的引入如何影响显著性图的质量？
• RQ3 与标准显著性检测模型相比，采用双判别器的对抗训练在含噪数据上的性能提升程度如何？
• RQ4 随着噪声方差增加，性能如何退化？DSAL-GAN 是否能在高噪声水平下保持高精度？
• RQ5 端到端的联合训练是否优于去噪与显著性网络的顺序或独立训练？

主要发现

• 在 MSRA-10k 数据集上，DSAL-GAN 在噪声方差 σ=50 时，最大 F-measure（maxF）相比 Deep Saliency 提升 16%，Mean Average Error（MAE）降低 47%。
• 在同一数据集上，DSAL-GAN 的平均 F-measure（aveF）相比 Deep Saliency 提升 16%，AUC 提升 21%，表明像素级分类精度显著提高。
• 在 σ=50 时，DSAL-GAN 在 MSRA-10k 上的 AUC 达到 0.9012，显著优于 Sal-GAN（0.8221）和 Deep Saliency（0.6523），即使在 σ=80 时 AUC 仅下降至 0.4512。
• 引入循环一致性损失可显著提升显著性图质量，尤其在保持物体边界和减少误报方面效果明显。
• 尽管噪声增加导致性能下降，但 DSAL-GAN 在 ECSSD 数据集上于 σ=50 时仍保持相对较高的 AUC（0.8503），优于基线模型，显示出良好的鲁棒性。
• 该模型在所有基准数据集（MSRA-10k、ECSSD、SOD）上均表现出一致的性能提升，证实其在多样化图像分布下的泛化能力。