[論文レビュー] Uncertainty-aware Joint Salient Object and Camouflaged Object Detection

Aixuan Li, Jing Zhang+4 more|arXiv (Cornell University)|Apr 6, 2021

Visual Attention and Saliency Detection参考文献 55被引用数 23

ひとこと要約

本論文は、類似度測定モジュールと対抗学習を用いて、顕著なオブジェクト検出（SOD）と目立たないオブジェクト検出（COD）の間の矛盾する特徴を活用することで、不確実性を考慮した共同学習フレームワークを提案する。容易なCODサンプルをSODのハードポジティブとして扱い、PASCAL VOCを接続データセットとして用いることで、6つのSODベンチマークおよび3つのCODベンチマークで最先端の性能を達成し、より高いロバスト性と不確実性を考慮した予測を実現した。

ABSTRACT

Visual salient object detection (SOD) aims at finding the salient object(s) that attract human attention, while camouflaged object detection (COD) on the contrary intends to discover the camouflaged object(s) that hidden in the surrounding. In this paper, we propose a paradigm of leveraging the contradictory information to enhance the detection ability of both salient object detection and camouflaged object detection. We start by exploiting the easy positive samples in the COD dataset to serve as hard positive samples in the SOD task to improve the robustness of the SOD model. Then, we introduce a similarity measure module to explicitly model the contradicting attributes of these two tasks. Furthermore, considering the uncertainty of labeling in both tasks' datasets, we propose an adversarial learning network to achieve both higher order similarity measure and network confidence estimation. Experimental results on benchmark datasets demonstrate that our solution leads to state-of-the-art (SOTA) performance for both tasks.

研究の動機と目的

• ネットワークアーキテクチャや損失関数設計のみでは限界がある性能向上を克服するため、SODおよびCODにおけるデータ利用の見直しを目的とする。
• 顕著なオブジェクトと目立たないオブジェクトの間には、高い顕著性は低い camouflage を意味し、逆に低い顕著性は高い camouflage を意味するという本質的な矛盾があるため、両タスクを共同で学習することでその相反性を活用する。
• CODデータセットからの容易なサンプルをSODのハードサンプルとして再利用することで、特徴学習を強化し、モデルのロバスト性を向上させる。
• 主観的なラベル付けの曖昧さやアノテーションの困難さを踏まえ、両タスクにおける予測不確実性を明示的にモデリングする。
• 外部データセット（PASCAL VOC 2007）を用いた類似度測定モジュールを通じて、SODとCODの間の接続を確立し、注意の分散を促進する。

提案手法

• 特徴エンコーダーを共有するが、SODとCODそれぞれに別々の予測デコーダーを用いる共同学習パイプラインを提案することで、タスク間の知識移転を可能にする。
• SODとCODの両タスクで異なる画像領域を活性化させるように促進するため、類似度測定モジュールを導入し、2つのタスク間の特徴類似度を最小化する。
• PASCAL VOC 2007を補助データセットとして用い、タスク間の相違性をモデル化することで、SODとCODが異なる画像領域に注目するように保証する。
• ネットワークの信頼性を推定し、予測の不確実性をモデリングするための対抗学習ブランチを採用し、特に両タスクにおける曖昧なアノテーションに有効である。
• 完全畳み込み型ディスクライマーと重み付き損失関数を用い、不確実性推定と主タスクの性能のバランスを取る。
• 容易に検出可能な目立たないオブジェクト（例：アザラシ）をCODからSODのハードポジティブとして再利用するデータ連携戦略を実装し、ロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 顕著なオブジェクトと目立たないオブジェクトの間の相反する特徴を活用することで、両タスクの検出性能を向上させることができるか？
• RQ2 目立たないオブジェクト検出データセットからの容易なサンプルを、顕著なオブジェクト検出に効果的にハードサンプルとして再利用できるか？
• RQ3 SODとCODの間で特徴の分散を強制する類似度測定モジュールは、一般化性能とロバスト性の向上に寄与するか？
• RQ4 対抗学習による不確実性推定は、曖昧なアノテーションを伴うSODおよびCODにおいて、どの程度性能を向上させられるか？
• RQ5 外部接続データセット（PASCAL VOC）を用いた共同学習は、個別タスク学習を上回る性能向上をもたらすか？

主な発見

• 提案された共同フレームワークは、6つのSODベンチマークおよび3つのCODベンチマークで最先端の性能を達成し、COD10KではmFスコア0.943、DUT-ESIMではFスコア0.894を達成した。
• 類似度測定モジュールはCOD性能を顕著に向上させ、特にCOD10Kではベースライン共同学習に比べてFスコアが1.0%向上した。
• 不確実性推定のための対抗学習は、主タスクの性能を劣化させることなく信頼性の高い推定を可能にし、小さな対抗損失重み（λ=0.01）でも安定した結果を得られた。
• CODの容易なサンプルをSODのハードポジティブとして再利用することで、DUT-ESIM や DUT-OMRON などの困難なSODベンチマークで性能が向上し、ロバスト性が向上した。
• SODとCODの間でイテレーティブに更新する（SOD:COD = 3:1の比率）共同学習により、より小さいCODデータセットでの過学習が抑制され、収束性が向上した。
• DUT-ESIMでは平均絶対誤差（M）が0.030、DUT-OMRONでは0.029を達成し、顕著性予測の高精度を示した。