[論文レビュー] Concealed Object Detection

Deng-Ping Fan, Ge-Peng Ji+2 more|arXiv (Cornell University)|Feb 20, 2021

Adversarial Robustness in Machine Learning参考文献 123被引用数 4

ひとこと要約

本稿は、隠れた物体検出（COD）に関する最初の包括的研究を提示し、10,000枚の画像と78カテゴリーにわたる豊富なアノテーションを備えた大規模なCOD10Kデータセットを提案する。また、動物の採餌行動にインspiredされた単純だが効果的な検索・同定ネットワークSINetを提案し、複雑な構成要素を含まないにもかかわらず、すべてのベンチマークCODデータセットで最先端の性能を達成する。12の先進的なベースラインを上回る性能を発揮する。

ABSTRACT

We present the first systematic study on concealed object detection (COD), which aims to identify objects that are "perfectly" embedded in their background. The high intrinsic similarities between the concealed objects and their background make COD far more challenging than traditional object detection/segmentation. To better understand this task, we collect a large-scale dataset, called COD10K, which consists of 10,000 images covering concealed objects in diverse real-world scenarios from 78 object categories. Further, we provide rich annotations including object categories, object boundaries, challenging attributes, object-level labels, and instance-level annotations. Our COD10K is the largest COD dataset to date, with the richest annotations, which enables comprehensive concealed object understanding and can even be used to help progress several other vision tasks, such as detection, segmentation, classification, etc. Motivated by how animals hunt in the wild, we also design a simple but strong baseline for COD, termed the Search Identification Network (SINet). Without any bells and whistles, SINet outperforms 12 cutting-edge baselines on all datasets tested, making them robust, general architectures that could serve as catalysts for future research in COD. Finally, we provide some interesting findings and highlight several potential applications and future directions. To spark research in this new field, our code, dataset, and online demo are available on our project page: http://mmcheng.net/cod.

研究の動機と目的

• コンピュータビジョン分野において重要なが、未だ十分に検討されていない隠れた物体検出（COD）の分野において、大規模かつ密にアノテーションされたデータセットの不足に応えること。
• カテゴリ、バウンディングボックス、インスタンスマスク、属性、マッティングレベルのラベルを含む、豊富なアノテーションを備えた新しいデータセットを導入することで、CODのための標準化されたベンチマークを確立すること。
• 既存の最先端手法を上回る、強力で汎用性の高いディーブラーニングフレームワークを構築すること。
• 視覚的に camouflage された物体を検出するために、動物にインspiredされた検索・同定戦略の実現可能性を検討すること。
• 今後の研究を刺激するために、マルチモodal検出、ユニバーサルネットワーク、ニューラルアーキテクチャサーチなど10の未解決の方向性を特定すること。

提案手法

• 10,000枚の実世界の画像を含み、78の物体カテゴリを有する大規模なデータセットCOD10Kを提案。カテゴリ、バウンディングボックス、オブジェクトレベルマスク、インスタンスレベルマスク、エッジマップ、および形状の複雑さ、被覆、定義不能な境界など、挑戦的な属性をアノテーション。
• 動物の採餌行動にインspiredされた検索・同定戦略を採用する、単純だが強力なエンドツーエンドネットワークSINetを導入。二重ブランチアーキテクチャにより、まず候補領域を特定し、その後に境界を精緻化する。
• 異なる段階での補助的监督を用いたマルチレベル監督戦略を採用し、特徴学習を強化し、マスク予測の正確性を向上。
• 密な予測タスク（例：インスタンスセグメンテーション）に適した最適化を可能にするために、クロスエントロピー損失とDice損失の組み合わせを用いて学習。
• 一般化性能を向上させるために、COD10Kのサブセットを用いて自己教師あり事前学習戦略を適用し、特にリソースが限られた状況でも有効。
• 複数の既存のCODベンチマークでフレームワークを検証し、多様な実世界シナリオにおいて優れた汎化性能と耐障害性を示した。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、包括的なベンチマークとモデル評価を可能にする、大規模かつ密にアノテーションされた隠れた物体検出用データセットを構築できるか？
• RQ2 構造的装飾のない単純なエンドツーエンドディーブラーニングフレームワークが、複雑な最先端モデルを上回る性能を達成できるか？
• RQ3 動物の狩猟行動にインspiredされた検索・同定戦略は、極めて camouflage された物体に対してどれほど性能向上をもたらすか？
• RQ4 隠れた物体検出を特に困難にする要因となる主な属性は何か？また、それらはモデル性能にどのように影響を与えるか？
• RQ5 現在の制限を超えて、隠れた物体検出を進歩させるために、最も有望な今後の研究方向性は何か？

主な発見

• SINetは、F-measure、平均Dice、平均IoUを含む、すべての評価指標で、テストされたすべてのCODデータセットで最先端の性能を達成。12の最先端ベースラインを上回る。
• SINetにおける検索・同定戦略は非常に有効であることが示され、まず候補領域を検索し、その後に正確な境界を同定する二段階アプローチが、ワンステージ検出よりも優れた結果をもたらすことを実証。
• COD10Kデータセットには10,000枚の画像が含まれ、マッティングレベルのラベルを含む豊富なアノテーションが付与されている。1枚あたり約60分を要する高品質な監視情報。
• 陸上、両生類、飛行、水中のタイプを含む78種類の多様な物体カテゴリが含まれており、形状の複雑さ、被覆、定義不能な境界などの挑戦的な属性を有する。
• SINetはたった4時間の学習時間でこの性能を達成しており、実世界での展開に向けた高い効率性と実用性を示している。
• 本研究では、現在の顕著オブジェクト検出モデルが隠れたオブジェクトにはあまり一般化できないことが判明し、専用のCODフレームワークとデータセットの必要性が浮き彫りになった。