[論文レビュー] Referring Camouflaged Object Detection

Xuying Zhang, Bowen Yin+4 more|arXiv (Cornell University)|Jun 13, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本稿では、顕著な参照画像をガイドとして用いることで、特定の camouflage 表現されたオブジェクトをセグメンテーションする新しいタスクである参照型 camouflage 表現オブジェクト検出（Ref-COD）を提案する。7,000枚の実世界画像を含むR2C7Kデータセットと、参照マスク生成モジュールおよび参照特徴強化モジュールを備えた二重ブランチ型R2CNetフレームワークを導入し、高い精度と頑健性を実現する最先端の性能を達成した。

ABSTRACT

We consider the problem of referring camouflaged object detection (Ref-COD), a new task that aims to segment specified camouflaged objects based on a small set of referring images with salient target objects. We first assemble a large-scale dataset, called R2C7K, which consists of 7K images covering 64 object categories in real-world scenarios. Then, we develop a simple but strong dual-branch framework, dubbed R2CNet, with a reference branch embedding the common representations of target objects from referring images and a segmentation branch identifying and segmenting camouflaged objects under the guidance of the common representations. In particular, we design a Referring Mask Generation module to generate pixel-level prior mask and a Referring Feature Enrichment module to enhance the capability of identifying specified camouflaged objects. Extensive experiments show the superiority of our Ref-COD methods over their COD counterparts in segmenting specified camouflaged objects and identifying the main body of target objects. Our code and dataset are publicly available at https://github.com/zhangxuying1004/RefCOD.

研究の動機と目的

• 標準的な camouflage 表現オブジェクト検出（COD）には、区別せずにすべての camouflage 表現オブジェクトを検出するという限界があるが、これを解消するため、指定された camouflage 表現オブジェクトのみを特定する新しいタスクを導入すること。
• 複数の camouflage 表現オブジェクトが存在し、背景と視覚的に類似している複雑なシーンにおいても、ターゲットの camouflage 表現オブジェクトを正確にセグメンテーションできるようにすること。
• 高価なテキストや手動アノテーションを避けるために、容易に入手可能な顕著オブジェクト画像を参照として用いることで、実世界のシナリオにおいて検出をガイドすること。
• 一般的な表現を活用するスケーラブルで効果的なディープラーニングフレームワークを構築し、セグメンテーションの精度と頑健性を向上させること。

提案手法

• 二重ブランチ型R2CNetフレームワークを提案：参照ブランチは顕著オブジェクトを含む参照画像から共通表現を抽出し、セグメンテーションブランチはこれらの表現を用いて camouflage 表現オブジェクトを特定する。
• 参照マスク生成（RMG）モジュールを導入し、参照特徴とセグメンテーション特徴の画素単位の密な比較を実行することで、画素レベルの参照事前マスクを生成する。
• 顕著オブジェクトの特徴とターゲット画像内の camouflage 表現オブジェクトの特徴の外観差を低減するため、二重ソース情報統合戦略を採用する。
• 参照マスクに従って誘導されるクロススケール特徴相互作用を可能にする参照特徴強化（RFE）モジュールを設計し、ターゲットオブジェクトの特徴の識別性を向上させる。
• セグメンテーションブランチでマルチスケール特徴統合を活用し、特徴表現と局所化精度を向上させる。
• 教師強化マスクを用いて、特徴をマスク・プーリングし、共通表現を学習するため、エンドツーエンドのR2CNetモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 顕著オブジェクトを含む参照画像が、複雑でごみだらけのシーンにおける特定の camouflage 表現オブジェクトのセグメンテーションを効果的にガイドできるか？
• RQ2 参照画像からの共通表現を用いることで、標準CODと比較して、camouflage 表現オブジェクト検出の精度と頑健性がどのように向上するか？
• RQ3 画素レベルの参照事前マスクと特徴強化メカニズムが、類似した背景オブジェクトと区別する能力を、モデルがどの程度向上できるか？
• RQ4 高価なアノテーションを必要とせず、シンプルだが効果的な二重ブランチアーキテクチャが、既存のCOD手法を上回って指定された camouflage 表現オブジェクトを特定できるか？

主な発見

• R2CNetフレームワークは、複数の camouflage 表現オブジェクトが存在し、背景と類似しているシーンにおいても、標準CODモデルを著しく上回る性能を示した。
• 視覚的注目マップから、R2CNetは参照画像を用いることで、類似する非ターゲットオブジェクトからの干渉を減らし、ターゲットの camouflage 表現オブジェクトをより正確に注目していることがわかった。
• テキストや大規模事前学習モデルを用いた手法と比較して、テキストアノテーションがなく、顕著オブジェクトのみを参照として用いた場合でも、R2CNetはより優れた性能を達成した。
• アブレーションスタディにより、RMGモジュールとRFEモジュールの両方が性能向上に不可欠であることが確認され、RMGモジュールは局所化精度を向上させ、RFEモジュールは特徴の識別性を強化した。
• R2C7Kデータセットにより包括的な評価が可能となり、64のカテゴリにまたがる7,000枚の実世界画像を含むため、Ref-COD手法の大規模かつ多様なベンチマークが可能になった。
• モデルは優れた一般化能力を示しており、低コントラストな camouflage 表現オブジェクト（例：ネコ、クラウンフィッシュ）のような困難なケースにおいても、ベースラインモデルが失敗するのに対し、優れた性能を発揮した。