[论文解读] Salient Object Detection in the Deep Learning Era: An In-Depth Survey

Wenguan Wang, Qiuxia Lai+4 more|arXiv (Cornell University)|Apr 19, 2019

Visual Attention and Saliency Detection被引用 86

一句话总结

本文对基于深度学习的显著目标检测（SOD）进行了全面综述，涵盖分类体系、数据集、评估指标、对扰动和对抗攻击的鲁棒性、跨数据集泛化以及未来方向。它还引入一个丰富的带注释的数据集和基准，用于分析 SOD 模型。

ABSTRACT

As an essential problem in computer vision, salient object detection (SOD) has attracted an increasing amount of research attention over the years. Recent advances in SOD are predominantly led by deep learning-based solutions (named deep SOD). To enable in-depth understanding of deep SOD, in this paper, we provide a comprehensive survey covering various aspects, ranging from algorithm taxonomy to unsolved issues. In particular, we first review deep SOD algorithms from different perspectives, including network architecture, level of supervision, learning paradigm, and object-/instance-level detection. Following that, we summarize and analyze existing SOD datasets and evaluation metrics. Then, we benchmark a large group of representative SOD models, and provide detailed analyses of the comparison results. Moreover, we study the performance of SOD algorithms under different attribute settings, which has not been thoroughly explored previously, by constructing a novel SOD dataset with rich attribute annotations covering various salient object types, challenging factors, and scene categories. We further analyze, for the first time in the field, the robustness of SOD models to random input perturbations and adversarial attacks. We also look into the generalization and difficulty of existing SOD datasets. Finally, we discuss several open issues of SOD and outline future research directions.

研究动机与目标

• 概述深度 SOD 模型如何按照网络架构、监督水平、学习范式，以及对象/实例聚焦进行分类。
• 分析标准 SOD 数据集与评估指标及其优缺点。
• 提供基于属性的评估，使用新颖的带注释数据集揭示模型的优缺点。
• 评估 SOD 模型对输入扰动和对抗攻击的鲁棒性。
• 讨论跨数据集泛化、数据集难度、未解决问题及未来研究方向。

提出的方法

• 提出深度 SOD 模型的分类体系，包括网络架构（MLP, FCN, hybrid, capsule）和监督水平（fully-, weakly-/unsupervised）。
• 回顾学习范式（单任务 vs. 多任务）以及对象级 vs. 实例级 SOD。
• 构建一个丰富的带属性注释的数据集，以实现属性化性能评估和跨模型分析。
• 检验对随机输入扰动和对抗攻击的鲁棒性，以评估模型的可靠性。
• 进行跨数据集泛化研究，讨论数据集难度和泛化问题；提供未解决的问题和未来方向。

实验结果

研究问题

• RQ1 深度 SOD 模型的主要架构类别和基于监督的类别有哪些？
• RQ2 目前的 SOD 数据集和指标如何比较，它们的局限性是什么？
• RQ3 SOD 模型在不同属性、场景和显著对象类型上的表现如何？
• RQ4 深度 SOD 模型对输入扰动和对抗攻击的鲁棒性如何，模型在跨数据集上的泛化能力如何？
• RQ5 未来 SOD 研究的关键未解决问题和有前景的方向是什么？

主要发现

• 本文提供了对深度 SOD 模型的系统分类，按网络架构、监督水平、学习范式以及对象/实例级进行分类。
• 进行了基于属性的评估，使用具有丰富注释的 novel 数据集，包含对象类别、场景类别和挑战性因素。
• 研究分析了 SOD 模型对随机输入扰动的鲁棒性，并进行了对 SOD 模型的首次对抗攻击分析。
• 跨数据集泛化分析揭示数据集偏差以及跨 SOD 基准测试的不同难度。
• 作者对代表性模型进行了基准测试，并讨论未解决的问题和未来方向，以指导持续研究。
• 所有显著性图、带注释的数据集和评估代码已公开获取。