[論文レビュー] CamoDiffusion: Camouflaged Object Detection via Conditional Diffusion Models

Zhongxi Chen, Ke Sun+2 more|arXiv (Cornell University)|May 29, 2023

Visual Attention and Saliency Detection被引用数 7

ひとこと要約

CamoDiffusionは、マスク予測をノイズ除去プロセスとして扱い、段階的にセグメンテーションマスクを精緻化する、カモフラージュオブジェクト検出（COD）のための新しい条件付き拡散モデルを提案する。確率的サンプリングと特化したトレーニング戦略を活用することで、従来のセマンティックセグメンテーションベースの手法と比べ顕著に優れた性能を達成し、COD10Kで0.019のMAEを達成した。

ABSTRACT

Camouflaged Object Detection (COD) is a challenging task in computer vision due to the high similarity between camouflaged objects and their surroundings. Existing COD methods primarily employ semantic segmentation, which suffers from overconfident incorrect predictions. In this paper, we propose a new paradigm that treats COD as a conditional mask-generation task leveraging diffusion models. Our method, dubbed CamoDiffusion, employs the denoising process of diffusion models to iteratively reduce the noise of the mask. Due to the stochastic sampling process of diffusion, our model is capable of sampling multiple possible predictions from the mask distribution, avoiding the problem of overconfident point estimation. Moreover, we develop specialized learning strategies that include an innovative ensemble approach for generating robust predictions and tailored forward diffusion methods for efficient training, specifically for the COD task. Extensive experiments on three COD datasets attest the superior performance of our model compared to existing state-of-the-art methods, particularly on the most challenging COD10K dataset, where our approach achieves 0.019 in terms of MAE.

研究の動機と目的

• 物体と背景の間の高さの類似性が分類誤りを引き起こす、カモフラージュオブジェクト検出の課題に対処すること。
• 従来のセマンティックセグメンテーションベースのCOD手法の限界、特に過信された予測と微細な境界の処理の悪さを克服すること。
• 拡散モデルを用いてCODを条件付きマスク生成タスクとして扱う、新しいパラダイムを導入すること。
• モデルの頑健性、一般化性能、不確実性を考慮した予測を向上させるための特化したトレーニングおよび推論戦略を開発すること。

提案手法

• CamoDiffusionは、入力画像を条件として、段階的にノイズを除去するマスクを生成する拡散モデルを用いて、CODを条件付きマスク生成タスクとして定式化する。
• 画像特徴を符号化し、ノイズ除去プロセスをガイドするため、適応的トランスフォーマー条件付きネットワーク（ATCN）を採用する。
• ノイズ除去プロセスを段階的に実行することで、マスクを段階的に精緻化するノイズ除去ネットワーク（DN）を採用する。
• 各ノイズ除去ステップにおけるノイズレベルを制御し、トレーニングを安定化させるために、SNRに基づく分散スケジュールを用いる。
• 前方拡散プロセス中に構造的破損（Structure Corruption）を導入し、構造的一致性を維持するとともに一般化性能を向上させる。
• 複数の確率的予測を統合して、頑健な最終マスクを生成するためのコンSENSUS TIME ENSEMBLE（CTE）戦略を採用する。これにより過信された予測が軽減され、精度が向上する。

実験結果

リサーチクエスチョン

• RQ1 条件付き拡散モデルは、自然画像におけるカモフラージュオブジェクトの境界の不確実性と複雑さを効果的にモデル化できるか？
• RQ2 拡散モデルの段階的ノイズ除去プロセスは、ピクセル単位の直接的セグメンテーションと比較して、マスク精緻化にどのように寄与するか？
• RQ3 カモフラージュオブジェクトの低レベル的特徴と高類似性の特性に適合させるために、拡散モデルに必要な特化したトレーニング戦略は何か？
• RQ4 確率的サンプリングとアンサンブル予測は、CODにおける過信された誤りをどの程度軽減できるか？
• RQ5 ATCNやDNのようなアーキテクチャ的要素は、微細な前方オブジェクトディテールに注目するモデルの能力にどのように寄与するか？

主な発見

• CamoDiffusionは、挑戦的なCOD10Kデータセットで最先端のMAE 0.019を達成し、従来の手法を顕著に上回った。
• モデルの確率的サンプリングプロセスにより、複数の多様な予測が生成され、曖昧領域の不確実性が明らかになり、頑健なアンサンブルベースの精緻化が可能になった。
• コンセンサスタイムアンサンブル（CTE）戦略により、異なるサンプリングステップからの予測を統合することでマスク品質が向上し、過信された誤差が軽減された。
• SNRに基づく分散スケジュールと前方拡散における構造的破損により、トレーニングがより安定的かつ効果的になり、一般化性能が向上した。
• アブレーションスタディの結果、ATCNとZOEの両方のコンponentが正確な注視と収束に不可欠であることが確認され、ZOEがトレーニングの安定性を向上させた。
• モデルの性能はサンプリングステップ数の増加とともに向上するが、10ステップで精度と推論効率のトレードオフが最適化された。