[論文レビュー] Salient Object Detection in the Deep Learning Era: An In-Depth Survey

Wenguan Wang, Qiuxia Lai+4 more|arXiv (Cornell University)|Apr 19, 2019

Visual Attention and Saliency Detection被引用数 86

ひとこと要約

この論文は、深層学習ベースの顕著物体検出（SOD）に関する総合的な調査を提供し、分類法、データセット、評価指標、摂動や敵対攻撃への頑健性、データセット間の一般化、将来の方向性を網羅する。さらに、SODモデルを分析するための豊富で注釈付きのデータセットとベンチマークを紹介する。

ABSTRACT

As an essential problem in computer vision, salient object detection (SOD) has attracted an increasing amount of research attention over the years. Recent advances in SOD are predominantly led by deep learning-based solutions (named deep SOD). To enable in-depth understanding of deep SOD, in this paper, we provide a comprehensive survey covering various aspects, ranging from algorithm taxonomy to unsolved issues. In particular, we first review deep SOD algorithms from different perspectives, including network architecture, level of supervision, learning paradigm, and object-/instance-level detection. Following that, we summarize and analyze existing SOD datasets and evaluation metrics. Then, we benchmark a large group of representative SOD models, and provide detailed analyses of the comparison results. Moreover, we study the performance of SOD algorithms under different attribute settings, which has not been thoroughly explored previously, by constructing a novel SOD dataset with rich attribute annotations covering various salient object types, challenging factors, and scene categories. We further analyze, for the first time in the field, the robustness of SOD models to random input perturbations and adversarial attacks. We also look into the generalization and difficulty of existing SOD datasets. Finally, we discuss several open issues of SOD and outline future research directions.

研究の動機と目的

• 深層 SOD モデルがネットワークアーキテクチャ、監督レベル、学習パラダイム、物体/インスタンスの焦点によってどのように分類されるかを要約する。
• 標準的な SOD データセットと評価指標を分析し、それらの長所と短所を評価する。
• 新規注釈付きデータセットを用いた属性ベースの評価を提供し、モデルの強みと弱みを明らかにする。
• 入力の摂動や敵対的攻撃に対する SOD モデルの頑健性を評価する。
• データセット間の一般化、データセットの難易度、未解決の課題、および将来の研究方向を論じる。

提案手法

• 深層 SOD モデルの分類法（ネットワークアーキテクチャ：MLP、FCN、ハイブリッド、カプセル）および監督レベル（完全、弱/非教師付き）を提案する。
• 学習パラダイム（単一タスク対多タスク）およびオブジェクトレベル対インスタンスレベルの SOD を再検討する。
• 属性注釈付きデータセットを構築し、属性ベースの性能評価とモデル間比較を可能にする。
• ランダムな入力摂動および敵対的攻撃に対する頑健性を検証し、モデルの信頼性を評価する。
• データセット間の一般化研究を実施し、データセットの難易度と一般化の問題点を議論する。オープンイシューと今後の方向性を提供する。

実験結果

リサーチクエスチョン

• RQ1 深層 SOD モデルがネットワークアーキテクチャ、監督レベル、学習パラダム、物体/インスタンスの焦点によってどのように分類されるかを要約する。
• RQ2 標準的な SOD データセットと評価指標を分析し、それらの長所と短所を評価する。
• RQ3 新規注釈付きデータセットを用いた属性ベースの評価を提供し、モデルの強みと弱みを明らかにする。
• RQ4 入力の摂動や敵対的攻撃に対する SOD モデルの頑健性を評価する。
• RQ5 データセット間の一般化、データセットの難易度、未解決の課題、および将来の研究方向を論じる。

主な発見

• The paper provides a systematic taxonomy of deep SOD models by network architecture, supervision level, learning paradigm, and object/instance level.
• An attribute-based evaluation is conducted using a novel dataset with rich annotations for object categories, scene categories, and challenging factors.
• The study analyzes robustness of SOD models to random input perturbations and conducts the first adversarial attack analysis for SOD models.
• Cross-dataset generalization analysis reveals dataset bias and varying difficulty across SOD benchmarks.
• The authors benchmark representative models and discuss open issues and future directions to guide ongoing research.
• All saliency maps, the annotated dataset, and evaluation code are made publicly available.