[論文レビュー] Joint Salient Object Detection and Camouflaged Object Detection via Uncertainty-aware Learning

Aixuan Li, Jing Zhang+5 more|arXiv (Cornell University)|Jul 10, 2023

Visual Attention and Saliency DetectionComputer Science被引用数 3

ひとこと要約

本稿は、不確実性を考慮した学習によって、顕著な物体検出（SOD）と目立たない物体検出（COD）の間にある本質的な矛盾をモデル化することで、SODとCODのための新しい共同学習フレームワークを提案する。データ相互作用に基づく増強、タスク別コントラスト学習モジュール、不確実性推定を導入し、ロバストネスと性能を向上させ、ベンチマークデータセットで最先端の結果を達成し、情報豊富な不確実性マップを生成する。

ABSTRACT

Salient objects attract human attention and usually stand out clearly from their surroundings. In contrast, camouflaged objects share similar colors or textures with the environment. In this case, salient objects are typically non-camouflaged, and camouflaged objects are usually not salient. Due to this inherent contradictory attribute, we introduce an uncertainty-aware learning pipeline to extensively explore the contradictory information of salient object detection (SOD) and camouflaged object detection (COD) via data-level and task-wise contradiction modeling. We first exploit the dataset correlation of these two tasks and claim that the easy samples in the COD dataset can serve as hard samples for SOD to improve the robustness of the SOD model. Based on the assumption that these two models should lead to activation maps highlighting different regions of the same input image, we further introduce a contrastive module with a joint-task contrastive learning framework to explicitly model the contradictory attributes of these two tasks. Different from conventional intra-task contrastive learning for unsupervised representation learning, our contrastive module is designed to model the task-wise correlation, leading to cross-task representation learning. To better understand the two tasks from the perspective of uncertainty, we extensively investigate the uncertainty estimation techniques for modeling the main uncertainties of the two tasks, namely task uncertainty (for SOD) and data uncertainty (for COD), and aiming to effectively estimate the challenging regions for each task to achieve difficulty-aware learning. Experimental results on benchmark datasets demonstrate that our solution leads to both state-of-the-art performance and informative uncertainty estimation.

研究の動機と目的

• 顕著な物体と目立たない物体の間にある本質的な矛盾に対処すること。ここでは、高い顕著性は低い camouflage を意味し、逆も同様である。
• データレベルの矛盾モデリングを通じて、CODの容易なサンプルをSODの困難なサンプルとして再利用することで、モデルのロバストネスを向上させること。
• 同じ入力に対してSODとCODの特徴マップが異なる方向に発現するよう、タスク別相関を明示的にモデル化するためのコントラスト学習モジュールを用いること。
• 不確実性推定を用いて、困難さに応じた学習を可能にし、SODのタスク不確実性とCODのデータ不確実性を区別すること。
• 1回の順伝播で両タスクの不確実性推定を実現し、解釈可能性とモデルの信頼性を向上させること。

提案手法

• 『データ相互作用をデータ増強として利用』する戦略を導入し、CODデータセットからの容易なサンプルをSODの困難なサンプルとして再利用することで、ロバストネスを向上させる。
• SODとCODの同じ画像に対して異なる特徴表現を促進するタスク別コントラスト学習モジュールを提案し、タスク間の表現学習を促進する。
• CODデータセットに特化した前景クロッピングによるデータ増強を適用し、現実世界の変動を模倣することで、小さなまたは複雑な目立たない物体の検出を向上させる。
• 敵対的学習を用いた信頼度推定モジュールを設計し、予測と正解の残差を入力として discriminator を学習させ、不確実な領域を特定する。
• クロッピング下での複数予測の分散を用いた不確実性推定を統合し、目立たない領域の検出可能性や複雑さと整合性を保つ。
• スケジュールされたコントラスト学習（5ステップごと）とバランスの取れた損失重み付けを用いたマルチタスク学習戦略を採用し、SODとCODの間の対立的目標を緩和する。

実験結果

リサーチクエスチョン

• RQ1 顕著な物体と目立たない物体の間にある本質的な矛盾をどのように活用し、共同検出におけるモデルの一般化性能を向上させられるか？
• RQ2 CODデータセットからの容易なサンプルがSODの有効な困難なサンプルとして機能するか？また、このデータレベルの相互作用が性能向上にどのように寄与するか？
• RQ3 タスク別コントラスト学習は、SODとCODの異なる特徴要件を効果的にモデル化できるか？収束問題を引き起こさないか？
• RQ4 予測分散と敵対的学習による不確実性推定は、検出の信頼性と解釈可能性をどの程度向上させられるか？
• RQ5 共同SOD-CODフレームワークにおいて、パラメータチューニングにより性能と不確実性推定の質のバランスをどのように達成できるか？

主な発見

• 提案されたデータ相互作用戦略はSOD性能を顕著に向上させ、PASCAL VOC 2007の403枚のサブセットを困難なサンプルとして使用することで、SODの結果が向上した。
• タスク別コントラスト学習はSOD性能を向上させ、表IIIにおける'JSOD1'から'JSOD2'への改善で示されているが、対立的目標のためCOD性能はわずかに低下した。
• COD用の前景クロッピングによるデータ増強は、小さなまたは複雑な目立たない物体の検出を向上させ、不確実性マップが領域レベルの検出可能性と密接に一致した。
• 不確実性推定モジュールは、残差に基づく discriminator の訓練により妥当性が確認された、信頼性の高い単一順伝播型不確実性マップを生成した。
• 共同フレームワークはベンチマークデータセットで最先端の性能を達成し、不確実性を考慮した、矛盾を考慮した学習の有効性を示した。
• ハイパーパramータチューニングにより、コントラスト損失重み（0.1）と敵対的損失重み（1.0）を設定することで、性能と不確実性推定の質のバランスが達成された。