[論文レビュー] Salient Objects in Clutter

Deng-Ping Fan, Jing Zhang+3 more|arXiv (Cornell University)|May 7, 2021

Visual Attention and Saliency Detection被引用数 13

ひとこと要約

本論文は、既存の顕著オブジェクト検出（SOD）データセットに存在する深刻なデータバイアス——過度に単純でごみのないシーン——を特定し、それを是正するための「Clutter にいる顕著オブジェクト（SOC）」データセットを提案する。本研究では、顕著でないオブジェクトを含む現実的で密度の高いアノテーション付き画像を導入し、詳細な属性情報を付加することで、ラベルスムージング、データ拡張、自己教師型学習によるデータセット強化が、モデルアーキテクチャの改善だけよりも顕著な性能向上をもたらすことを示している。

ABSTRACT

This paper identifies and addresses a serious design bias of existing salient object detection (SOD) datasets, which unrealistically assume that each image should contain at least one clear and uncluttered salient object. This design bias has led to a saturation in performance for state-of-the-art SOD models when evaluated on existing datasets. However, these models are still far from satisfactory when applied to real-world scenes. Based on our analyses, we propose a new high-quality dataset and update the previous saliency benchmark. Specifically, our dataset, called Salient Objects in Clutter~ extbf{(SOC)}, includes images with both salient and non-salient objects from several common object categories. In addition to object category annotations, each salient image is accompanied by attributes that reflect common challenges in common scenes, which can help provide deeper insight into the SOD problem. Further, with a given saliency encoder, e.g., the backbone network, existing saliency models are designed to achieve mapping from the training image set to the training ground-truth set. We, therefore, argue that improving the dataset can yield higher performance gains than focusing only on the decoder design. With this in mind, we investigate several dataset-enhancement strategies, including label smoothing to implicitly emphasize salient boundaries, random image augmentation to adapt saliency models to various scenarios, and self-supervised learning as a regularization strategy to learn from small datasets. Our extensive results demonstrate the effectiveness of these tricks. We also provide a comprehensive benchmark for SOD, which can be found in our repository: https://github.com/DengPingFan/SODBenchmark.

研究の動機と目的

• 既存のSODデータセットに長年無視されてきたデータ選択バイアスに対処する——これは、各画像に単一の単純でごみのない顕著オブジェクトが存在すると仮定している。
• 現実的で、顕著でないオブジェクトを含む、現実世界の視覚的複雑さを反映した新しいベンチマークデータセット（SOC）を構築する。
• 訓練データの質を向上させることで得られる性能向上が、モデルアーキテクチャの最適化よりも顕著であるかどうかを調査する。
• オブジェクトカテゴリーや属性を含む詳細なアノテーションを備えた包括的なSODベンチマークを提供する——現実世界の課題を反映する。
• SOD分野における今後の研究方向性を、データ、タスク、モデル、監視、評価、応用の各レベルで特定する。

提案手法

• 現実世界のシーンから収集した、顕著でないオブジェクトを含む複数のカテゴリに属するオブジェクトを含む画像を含む「Clutter にいる顕著オブジェクト（SOC）」データセットを提案する。
• 各顕著画像に対して、インスタンスレベルの真値マスク、オブジェクトカテゴリーラベル、および現実世界の課題（例：遮蔽、ごみ）を反映する属性（例：HO, OC, SC, SO）をアノテートする。
• トレーニング中に顕著境界を暗黙的に強調するためにラベルスムージングを適用し、局所化精度を向上させる。
• ランダムな画像拡張を用いて、多様な現実世界のシナリオにおけるモデルの汎化能力を向上させる。
• 自己教師型学習を正則化戦略として導入し、小規模データセットにおける性能向上を図る。
• 新しいSOCデータセットを用いて100以上のSODモデルを対象に包括的なベンチマークを実施し、複数の指標に基づいて性能を評価する。

Figure 2: Taxonomy of the saliency detection task. We highlight the scope of this study in gray. See $\S$ 2 for details.

実験結果

リサーチクエスチョン

• RQ1 SODデータセットの現在の設計バイアス——単純でごみのないシーンに有利である——が、現実世界の応用におけるモデルの一般化性能をどの程度制限しているのか？
• RQ2 より現実的で密度の高いアノテーション付きデータセット（例：SOC）は、アーキテクチャの革新を越えて顕著オブジェクト検出の性能向上をもたらすのか？
• RQ3 ラベルスムージング、データ拡張、自己教師型学習といったデータ中心の戦略は、SODモデルの性能向上にどの程度効果的か？
• RQ4 現在のSODモデルが処理できない主な現実世界の課題（例：遮蔽、ごみ、小規模オブジェクト）は何か？ そして、それらはどのようにデータセットによりよく反映できるか？
• RQ5 評価指標とベンチマーク手法は、現実世界のSOD応用のニーズをよりよく反映するためにどのように見直すべきか？

主な発見

• SOCデータセットは、100以上のSODモデルを評価する新しいベンチマークを提供し、モデル設計を越えてデータ品質が性能に顕著に影響することを示している。
• ラベルスムージングは境界領域を強調することで局所化精度を向上させ、F-measureおよびIoU指標において測定可能な向上をもたらす。
• ランダムなデータ拡張は、遮蔽やごみの状況を含む多様な現実世界のシナリオにおけるモデルのロバスト性を向上させる。
• 自己教師型学習戦略は、小規模データセットにおける性能を向上させ、過学習を軽減し、汎化能力を向上させる。
• ベンチマークの結果から、最先端のモデルでさえ複雑でごみの多いシーンでは性能を発揮できないことが判明し、より良いデータ駆動型トレーニング戦略の必要性が示された。
• 著者らは、データセット強化がアーキテクチャの革新だけよりも顕著な性能向上をもたらすと結論づけ、今後のSOD研究においてデータ中心のアプローチを推奨する。

Figure 6: Left: Attribute distribution over salient object images in our SOC dataset. Each number in the grid indicates the number of occurrences. Right: The dominant dependencies among attributes based on the frequency of occurrences. A larger link width indicates a higher probability of an attribu