[論文レビュー] Salient Objects in Clutter: Bringing Salient Object Detection to the Foreground

Deng-Ping Fan, Ming‐Ming Cheng+4 more|arXiv (Cornell University)|Mar 16, 2018

Visual Attention and Saliency Detection参考文献 39被引用数 43

ひとこと要約

この論文は、Salient Objects in Clutter（SOC）データセットを提案し、顕著対象検出におけるデータバイアスを解消する。CNNベースのSODモデルの包括的ベンチマークをこのデータセット上で提供し、複数の実世界属性にわたる性能を分析する。

ABSTRACT

We provide a comprehensive evaluation of salient object detection (SOD) models. Our analysis identifies a serious design bias of existing SOD datasets which assumes that each image contains at least one clearly outstanding salient object in low clutter. The design bias has led to a saturated high performance for state-of-the-art SOD models when evaluated on existing datasets. The models, however, still perform far from being satisfactory when applied to real-world daily scenes. Based on our analyses, we first identify 7 crucial aspects that a comprehensive and balanced dataset should fulfill. Then, we propose a new high quality dataset and update the previous saliency benchmark. Specifically, our SOC (Salient Objects in Clutter) dataset, includes images with salient and non-salient objects from daily object categories. Beyond object category annotations, each salient image is accompanied by attributes that reflect common challenges in real-world scenes. Finally, we report attribute-based performance assessment on our dataset.

研究の動機と目的

• 理想的で低雑音のシーンでの性能を過大評価する既存のSODデータセットのバイアスを特定する。
• サンプルレベルの注釈と属性を含む、現実的で大規模なSODデータセット（SOC）を作成する。
• SOC上で主要なCNNベースのSODモデルをベンチマークし、一般化のギャップを明らかにし今後の研究を導く。
• 実世界の課題下でのモデルの強みと弱みを理解するため、属性ベースの性能分析を提供する。

提案手法

• 現実的でバランスの取れたSODデータセットの7つの基準を定義する。
• SOCを6,000枚の画像（3,000枚は顕著、3,000枚は非顕著）で80カテゴリ以上にわたり構成し、非顕著画像とインスタンスレベルの注釈を含める。
• 顕著オブジェクトを高品質なピクセルレベルのマスクで注釈し、運動ブラー、遮蔽、雑然さなどの各画像属性を提供する。
• SOC上で代表的な単一タスクおよびマルチタスクのCNNベースSODモデルを、ピクセル精度、領域類似性（F測度）、構造類似性（S測度）で評価する。
• 特定のシーンの課題に対して属性ベースの性能評価を実施し、モデル性能を分析する。
• データセットとベンチマークツールを公開する。

実験結果

リサーチクエスチョン

• RQ1 現実的なシーン（雑然さと非顕著画像を含む）で、従来のベンチマークと比較してSODモデルはどのように性能を発揮するのか。
• RQ2 過去のSODデータセットに存在するデザインバイアスは何か、SOCはそれをどう克服するのか。
• RQ3 顕著オブジェクト属性（例：運動ブラー、遮蔽、雑然さ）は、異なるアーキテクチャ全体でモデルの性能にどう影響するのか。
• RQ4 属性ベースのベンチマークは、先端SODモデルの弱点を明らかにし、今後の研究の方向性を示すことができるのか。

主な発見

• SOCは公表時点で最大のインスタンスレベルSODデータセットであり、80カテゴリ以上にわたる6,000枚の画像（3,000顕著、3,000非顕著）を含む。
• SOCには高品質なインスタンスレベルの顕知マスクと現実世界の課題を反映したオブジェクト属性が含まれており、従来データセットより豊かな分析を可能にする。
• ベンチマークの結果、既存データセットでトップを争うモデルはSOCでは満足のいく性能を示さず、現実性のギャップを浮き彫りにする。
• 属性ベースの評価は、大きなオブジェクト、雑然さ、遮蔽などの課題に対して性能が低下する様子を示し、将来のモデル改善を指針づける。
• マルチタスクおよび弱監視モデルは有望だが、SOC上では完全に監視された単一タスクモデルに及ばず、堅牢な実世界SODの方向性を示唆している。