[論文レビュー] Towards Deeper Understanding of Camouflaged Object Detection

Yunqiu Lv, Jing Zhang+4 more|arXiv (Cornell University)|May 23, 2022

Ocular Surface and Contact Lens被引用数 9

ひとこと要約

本論文は、 camouflageされたオブジェクト検出のための新しい三重タスク学習フレームワークを導入し、同時に特徴的な領域の局所化、camouflageされたオブジェクトのセグメンテーション、およびcamouflageの難易度のランク付けを実行する。明著性をモデル化し、眼球追跡に基づく局所化マップを用いることで、最先端の性能を達成するとともに、自然界および視覚システムにおけるcamouflageのメカニズムへのより深い解釈を提供する。

ABSTRACT

Preys in the wild evolve to be camouflaged to avoid being recognized by predators. In this way, camouflage acts as a key defence mechanism across species that is critical to survival. To detect and segment the whole scope of a camouflaged object, camouflaged object detection (COD) is introduced as a binary segmentation task, with the binary ground truth camouflage map indicating the exact regions of the camouflaged objects. In this paper, we revisit this task and argue that the binary segmentation setting fails to fully understand the concept of camouflage. We find that explicitly modeling the conspicuousness of camouflaged objects against their particular backgrounds can not only lead to a better understanding about camouflage, but also provide guidance to designing more sophisticated camouflage techniques. Furthermore, we observe that it is some specific parts of camouflaged objects that make them detectable by predators. With the above understanding about camouflaged objects, we present the first triple-task learning framework to simultaneously localize, segment, and rank camouflaged objects, indicating the conspicuousness level of camouflage. As no corresponding datasets exist for either the localization model or the ranking model, we generate localization maps with an eye tracker, which are then processed according to the instance level labels to generate our ranking-based training and testing dataset. We also contribute the largest COD testing set to comprehensively analyse performance of the COD models. Experimental results show that our triple-task learning framework achieves new state-of-the-art, leading to a more explainable COD network. Our code, data, and results are available at: \url{https://github.com/JingZhang617/COD-Rank-Localize-and-Segment}.

研究の動機と目的

• 二値セグメンテーションの限界を是正すること。特に、camouflageの階層的認知および進化的メカニズムを捉えられていない点に起因する。
• 人間がオブジェクト全体を認識するのではなく、最も明著な領域を特定することで、camouflageされたオブジェクトをどのように検出するかを調査すること。
• 各インスタンスに対してcamouflageランクスコアを推定することで、camouflageの難易度を定量化すること。
• 多様な条件下でのCODモデル性能の包括的分析を可能にする、詳細な属性を備えた新しいベンチマークデータセットの開発

提案手法

• 統一されたネットワークアーキテクチャを用いて、camouflageオブジェクトの局所化、セグメンテーション、camouflageランク付けを同時に実行する三重タスク学習フレームワークを提案する。
• 人間の観察者からの眼球追跡データを用いて、真値の局所化マップを生成し、その後、インスタンスレベルのアノテーションを処理して、ランクベースのトレーニングデータセットを作成する。
• セグメンテーションのためのバイナリクロスエントロピー、局所化のためのL1損失、およびランク付き損失を組み合わせた新しい損失関数を導入する。
• 背景の複雑さ、オブジェクトサイズ、被覆、破壊的色彩などの詳細な属性を備えた大規模かつ包括的なCODテストセットを構築する。
• 既存のCODデータセットを10の詳細な属性で再ラベル付けし、さまざまなcamouflage戦略および環境的条件下での性能分析を可能にする。
• 1回のフォワードパスでセグメンテーションマスク、特徴的な領域マップ、camouflageランクスコアを予測するマルチヘッドデコーダーヘッドを採用する。

実験結果

リサーチクエスチョン

• RQ1 camouflageされたオブジェクトのどの特定領域が人間の観察者にとって最も検出可能であり、それらを局所化することで検出性能をどのように向上させられるか？
• RQ2 camouflageの度合いをどのように定量的に測定でき、どの要因がより高いcamouflage難易度に寄与するか？
• RQ3 統一されたディープラーニングフレームワークは、同時にオブジェクトの局所化、セグメンテーション、ランク付けを効果的に学習できるか？
• RQ4 背景の複雑さ、オブジェクトサイズ、被覆、破壊的色彩などの異なるcamouflage属性が、既存のCODモデルの性能にどのように影響するか？
• RQ5 既存のCODモデルは多様なcamouflage戦略にどの程度一般化可能であり、詳細な属性分析に基づいてモデル設計をどのように改善できるか？

主な発見

• 提案された三重タスクフレームワークは、複数のCODベンチマークで最先端の性能を達成し、優れたセグメンテーションおよび局所化精度を示した。
• 被覆属性では最高の性能を達成し、破壊的色彩、模倣、小型オブジェクトのカテゴリでは2位となった。
• 複雑な背景、コーナー位置、被覆、または小型オブジェクト属性を有する画像は、著しく「難易度が高い」camouflageインスタンスと分類される傾向がある。
• 顕著なオブジェクト属性は「簡単」なサンプルと強く相関しており、より高い顕著性が検出の容易さに寄与することを確認した。
• ほとんどの属性においてバランスの取れた性能を示しており、多様なcamouflage戦略および環境的条件下でも堅牢であることが示された。
• 詳細な属性分析により、模倣および複雑な背景が最も挑戦的であることが判明し、最も高い「難易度が高い」とランク付けされたサンプルの割合を示した。