[论文解读] Uncertainty Inspired RGB-D Saliency Detection

Jing Zhang, Deng-Ping Fan+5 more|arXiv (Cornell University)|Sep 7, 2020

Visual Attention and Saliency Detection参考文献 86被引用 7

一句话总结

该论文提出了首个用于RGB-D显著性检测的随机框架，通过带有隐变量的生成模型对人类标注的不确定性进行建模。通过采用条件变分自编码器（CVAE）或交替反向传播（ABP）进行隐变量推断，该方法生成多样化、概率性的显著性预测，在六个基准数据集上实现了最先进性能。

ABSTRACT

We propose the first stochastic framework to employ uncertainty for RGB-D saliency detection by learning from the data labeling process. Existing RGB-D saliency detection models treat this task as a point estimation problem by predicting a single saliency map following a deterministic learning pipeline. We argue that, however, the deterministic solution is relatively ill-posed. Inspired by the saliency data labeling process, we propose a generative architecture to achieve probabilistic RGB-D saliency detection which utilizes a latent variable to model the labeling variations. Our framework includes two main models: 1) a generator model, which maps the input image and latent variable to stochastic saliency prediction, and 2) an inference model, which gradually updates the latent variable by sampling it from the true or approximate posterior distribution. The generator model is an encoder-decoder saliency network. To infer the latent variable, we introduce two different solutions: i) a Conditional Variational Auto-encoder with an extra encoder to approximate the posterior distribution of the latent variable; and ii) an Alternating Back-Propagation technique, which directly samples the latent variable from the true posterior distribution. Qualitative and quantitative results on six challenging RGB-D benchmark datasets show our approach's superior performance in learning the distribution of saliency maps. The source code is publicly available via our project page: https://github.com/JingZhang617/UCNet.

研究动机与目标

• 为解决现有RGB-D显著性检测方法中将人类标注视为确定性输出所导致的固有主观性与不确定性问题。
• 建模显著性图的分布而非预测单一确定性输出，以反映人类感知中的变异性。
• 开发一种生成框架，通过学习标注差异中的隐变量，生成多样化的显著性预测。
• 评估两种推断策略——基于辅助编码器的CVAE与基于梯度的MCMC的ABP——在显著性预测不确定性建模中的有效性。
• 将所提出的框架扩展至标准RGB显著性检测，证明其泛化能力与无需架构变更的最先进性能。

提出的方法

• 提出一种生成框架，其中生成器网络通过编码器-解码器架构，将输入的RGB-D图像与隐变量映射为随机显著性预测。
• 采用带有额外推理网络的条件变分自编码器（CVAE），以近似隐变量的后验分布。
• 引入一种交替反投影（ABP）技术，通过基于梯度的马尔可夫链蒙特卡洛（MCMC）方法，直接从真实后验分布中采样隐变量。
• 使用显著性共识模块将多样化预测聚合为单一高精度的确定性输出，模拟人类共识过程。
• 通过仅改变输入模态，将相同网络架构应用于RGB-D与RGB显著性检测，证明模型的灵活性。
• 采用重建损失与对抗损失的组合，实现端到端训练，以提升生成显著性图的质量与多样性。

实验结果

研究问题

• RQ1 与确定性方法相比，建模人类显著性标注中的不确定性是否能带来更鲁棒、更真实的显著性预测？
• RQ2 如何通过代表标注差异的隐变量，使深度生成模型有效捕捉显著性图的分布？
• RQ3 在显著性检测的不确定性建模中，基于CVAE的推理模型与基于ABP的推理方法相比，各自的优劣势与权衡是什么？
• RQ4 所提出的框架能否在不改变架构的前提下泛化至标准RGB显著性检测，并保持最先进性能？
• RQ5 模型生成的多样化显著性预测在多大程度上反映了人类标注中真实存在的不确定性？

主要发现

• 所提方法Ours_CVAE与Ours_ABP在六个具有挑战性的RGB-D基准数据集上均达到最先进性能，其中Ours_ABP在多数指标上优于现有方法。
• 在DUTS-TO数据集上，Ours_ABP的平均F-measure达到0.957，Dice分数为0.949，E-measure为0.917，超越了先前的SOTA方法。
• 定性结果表明，该模型能为复杂场景生成多样化的显著性预测，反映出人类标注中的不确定性。
• 显著性共识模块能有效将多个随机预测聚合为单一确定性输出，其质量与真实标注过程相当。
• 当扩展至仅RGB的显著性检测时，相同框架在ECSSD、DUTS、HKU-IS等基准上均实现最先进性能，且无需架构修改。
• 基于ABP的推理方法性能略优于CVAE，但因每轮前向传播需执行多步MCMC，训练时间更长。