[論文レビュー] Weakly-Supervised Camouflaged Object Detection with Scribble Annotations

Ruozhen He, Qihua Dong+2 more|arXiv (Cornell University)|Jul 28, 2022

Visual Attention and Saliency Detection被引用数 10

ひとこと要約

本論文は、ピクセル単位のマスクよりも360倍速いとされるスクリッチアノテーションを用いた、初めての弱教師付きカモフラージュオブジェクト検出（COD）フレームワークを提案する。スクリッチアノテーションは1画像あたり約10秒で作成可能である。本研究では、低レベルのコントラストを強化するためのローカル・コンテキスト対照（LCC）モジュールと、オブジェクト部品間の論理的意味的関係を推論するための論理的意味的関係（LSR）モジュールを備えた新規ネットワークを提案するとともに、境界局所化を向上させるための一貫性損失と特徴誘導損失を導入している。本手法は、3つのベンチマークでSOTA手法を上回り、MAEで11.0%、S-measureで3.2%、E-measureで2.5%、重み付きF-measureで4.4%の性能向上を達成した。

ABSTRACT

Existing camouflaged object detection (COD) methods rely heavily on large-scale datasets with pixel-wise annotations. However, due to the ambiguous boundary, annotating camouflage objects pixel-wisely is very time-consuming and labor-intensive, taking ~60mins to label one image. In this paper, we propose the first weakly-supervised COD method, using scribble annotations as supervision. To achieve this, we first relabel 4,040 images in existing camouflaged object datasets with scribbles, which takes ~10s to label one image. As scribble annotations only describe the primary structure of objects without details, for the network to learn to localize the boundaries of camouflaged objects, we propose a novel consistency loss composed of two parts: a cross-view loss to attain reliable consistency over different images, and an inside-view loss to maintain consistency inside a single prediction map. Besides, we observe that humans use semantic information to segment regions near the boundaries of camouflaged objects. Hence, we further propose a feature-guided loss, which includes visual features directly extracted from images and semantically significant features captured by the model. Finally, we propose a novel network for COD via scribble learning on structural information and semantic relations. Our network has two novel modules: the local-context contrasted (LCC) module, which mimics visual inhibition to enhance image contrast/sharpness and expand the scribbles into potential camouflaged regions, and the logical semantic relation (LSR) module, which analyzes the semantic relation to determine the regions representing the camouflaged object. Experimental results show that our model outperforms relevant SOTA methods on three COD benchmarks with an average improvement of 11.0% on MAE, 3.2% on S-measure, 2.5% on E-measure, and 4.4% on weighted F-measure.

研究の動機と目的

• カモフラージュオブジェクト検出（COD）におけるピクセル単位のアノテーションの高コストな点（1画像あたり約60分）を是正すること。
• スクリッチアノテーション（1画像あたり約10秒）を弱教師付きとして用いることの可能性と有効性を検討すること。
• 既存のスクリッチベース手法が、カモフラージュオブジェクトに見られる曖昧な境界や複雑な意味的関係に対して失敗するという限界を克服すること。
• スプライススクリッチから得られる構造的および意味的情報を活用して、検出精度を向上させる新しいネットワークアーキテクチャと損失関数を設計すること。
• 弱教師付きCOD研究を支援するため、スクリッチでラベル付けされた4,040枚の画像を含む新規ベンチマークデータセットS-CODを構築すること。

提案手法

• ピクセル単位のマスクではなく、スクリッチアノテーションを用いた新しい弱教師付きCODフレームワークを提案し、1画像あたりのラベル付け時間を約60分から約10秒に短縮した。
• 2つの構成要素を持つ新しい一貫性損失を導入：異なる画像の増幅ビュー間での予測の一貫性を強制するクロスビュー損失と、1つの予測マップ内での一貫性を維持するインサイドビュー損失。
• 視覚的抑制を模倣するローカル・コンテキスト対照（LCC）モジュールを設計し、画像のコントラストを強化し、低レベルの構造的差を強調することでスクリッチを潜在的なカモフラージュ領域に拡張する。
• オブジェクト部品間の関係（例：花びらと茎）を分析する論理的意味的関係（LSR）モジュールを開発し、学習された高レベルの意味的特徴を用いて最終予測を精緻化する。
• 手動で抽出した視覚的特徴（例：色、テクスチャ）とモデルが学習した意味的特徴を組み合わせる特徴誘導損失を提案し、隠れた前面オブジェクトの検出を支援する。
• COD10Kから3,040枚、CAMOから1,000枚の画像を含み、弱教師付きCOD学習を支援する目的でスクリッチで再ラベル付けした新規データセットS-CODを構築した。

実験結果

リサーチクエスチョン

• RQ1 ピクセル単位のマスクよりもはるかに速く作成可能なスクリッチアノテーションが、カモフラージュオブジェクト検出における有効な弱教師付き信号として機能するか？
• RQ2 主に主要なオブジェクト構造のみを捉えるスプライススクリッチアノテーションから、深層学習モデルが正確なオブジェクト境界を効果的に学習できるか？
• RQ3 限定的なスクリッチ教師信号の下で、予測の一貫性を強制し、意味的推論を誘導するのに最も効果的な損失関数は何か？
• RQ4 低レベルのコントラストと高レベルの意味的関係をどれだけ活用できるかが、背景と視覚的に区別がつかないカモフラージュオブジェクトの検出にどれほど寄与するか？
• RQ5 スクリッチで学習した弱教師付きモデルが、挑戦的なCODシナリオにおいて、完全教師付きSOTA手法を上回る性能を発揮できるか？

主な発見

• 提案手法は、3つのCODベンチマークでSOTA手法を上回り、MAEで平均11.0%、S-measureで3.2%、E-measureで2.5%、重み付きF-measureで4.4%の性能向上を達成した。
• アブレーションスタディの結果、一貫性損失と特徴誘導損失の両方が性能向上に顕著に寄与しており、LCC + LSR + 両損失のフルモデルが個々の構成要素を上回ることを確認した。
• LCCモジュールは、微細なテクスチャ差を強調することで、低レベルのコントラストを向上させ、スクリッチを潜在的なカモフラージュ領域に効果的に拡張した。
• LSRモジュールは、オブジェクト部品間の論理的意味的関係を推論することで境界局所化を改善し、複雑なシーンにおける誤検出（ファルス・ポジティブ）を低減した。
• クロスビューとインサイドビューの正則化を組み合わせた一貫性損失は、訓練の安定化と一般化性能の向上に寄与し、とくに曖昧でごみだらけの背景において顕著であった。
• 完全教師付きSOTA手法と同等の性能を達成した。これは、スクリッチを用いた弱教師付き学習がCODにおいて非常に有効である可能性を示している。