[論文レビュー] CamoFA: A Learnable Fourier-based Augmentation for Camouflage Segmentation

Minh-Quan Le, Minh–Triet Tran+3 more|arXiv (Cornell University)|Aug 29, 2023

Visual Attention and Saliency DetectionComputer Science被引用数 3

ひとこと要約

本稿では、 camouflage object detection (COD) および instance segmentation (CIS) のための、学習可能なフォーリエベースのデータ拡張手法である CamoFourier を提案する。この手法は、条件付き GAN を用いて参照画像を生成し、クロスアテンションを用いて特徴をアライメントすることで、モデル性能を向上させる。その後、入力画像の高周波成分と参照画像の低周波成分を、学習可能なパラメータ β によって制御されたハイブリッドスワップにより融合する。このアプローチにより、アーキテクチャの変更なしに、COD および CIS ベンチマークにおける最先端モデルの性能が顕著に向上する。

ABSTRACT

Camouflaged object detection (COD) and camouflaged instance segmentation (CIS) aim to recognize and segment objects that are blended into their surroundings, respectively. While several deep neural network models have been proposed to tackle those tasks, augmentation methods for COD and CIS have not been thoroughly explored. Augmentation strategies can help improve models' performance by increasing the size and diversity of the training data and exposing the model to a wider range of variations in the data. Besides, we aim to automatically learn transformations that help to reveal the underlying structure of camouflaged objects and allow the model to learn to better identify and segment camouflaged objects. To achieve this, we propose a learnable augmentation method in the frequency domain for COD and CIS via the Fourier transform approach, dubbed CamoFA. Our method leverages a conditional generative adversarial network and cross-attention mechanism to generate a reference image and an adaptive hybrid swapping with parameters to mix the low-frequency component of the reference image and the high-frequency component of the input image. This approach aims to make camouflaged objects more visible for detection and segmentation models. Without bells and whistles, our proposed augmentation method boosts the performance of camouflaged object detectors and instance segmenters by large margins.

研究の動機と目的

• camouflaged object detection および instance segmentation のために特化した有効なデータ拡張戦略の不足に取り組むこと。
• 隠れた構造を露わにする変換を学習することで、モデルの汎化性能とロバスト性を向上させること。
• 空間的構造を保持しながら、camouflaged object の可視性を向上させる周波数ドメインの拡張手法を開発すること。
• さまざまな検出およびセグメンテーションアーキテクチャと互換性がある柔軟で学習可能な拡張フレームワークを構築すること。

提案手法

• 条件付き生成対抗ネットワーク（cGAN）が、入力画像から参照画像を生成し、構造的およびテクスチャ的ヒントの源とする。
• クロスアテンション機構が、入力画像と生成された参照画像の間で空間的対応関係とアライメントを学習し、特徴の一貫性を向上させる。
• 入力画像および参照画像をフーリエ変換により周波数ドメインに変換し、振幅と位相成分に分離する。
• 学習可能なパrameter β によって制御される、アダプティブハイブリッドスワップ機構が、参照画像の低周波振幅と入力画像の高周波振幅を組み合わせる。
• ハイブリッドスワップにより、参照画像から入力画像へのテクスチャおよび色情報の制御された転送が可能となり、camouflaged object の可視性が向上する。
• 逆フーリエ変換を用いて、解像度と空間的構造を保持したまま、拡張画像を再構築する。

Figure 1: Our CamoFourier not only preserves the spatial structure and resolution of an image but also highlights the underlying structure of camouflaged objects for better identification and segmentation.

実験結果

リサーチクエスチョン

• RQ1 学習可能で周波数ドメインに依存する拡張手法は、camouflaged object detection および instance segmentation タスクにおける性能向上に寄与するか？
• RQ2 条件付き GAN とクロスアテンション機構の統合は、camouflaged object に対する拡張画像の品質と関連性をどのように向上させるか？
• RQ3 フォーリエ成分のアダプティブハイブリッドスワップの影響は、モデルの汎化性能および検出精度にどのような影響を及えるか？
• RQ4 camouflaged object の背景類似度が高いために設計されていない既存の拡張手法と比較して、CamoFourier はどのように優れているか？
• RQ5 提案手法は、COD および CIS のためのさまざまな最先端モデルにどの程度一般化可能か？

主な発見

• CamoFourier は、SINetV2 および OSFormer の COD および CIS ベンチマークにおける性能を顕著に向上させ、以前の最先端手法を上回る。
• クロスアテンション機構は、COD10K および NC4K データセットのすべての指標で性能を向上させ、F-measure、平均 F スコア、S-measure の面で一貫した向上を示した。
• アダプティブハイブリッドスワップは、基本的な振幅スワップと比較して測定可能な性能向上をもたらし、情報伝達の制御における重要性を示した。
• CamoDiff（先行の最先端手法）を上回り、camouflaged object に対するモデルの感度を向上させる点で、本手法の優位性を確認した。
• 定性的な結果から、CamoFourier は、camouflaged object の構造をより明確に可視化する拡張画像を生成しており、より良いセグメンテーションと検出を可能にしている。
• アブレーションスタディにより、クロスアテンションモジュールおよびアダプティブハイブリッドスワップが最適性能を達成する上で不可欠な要素であることが確認された。

Figure 2: Overview of the proposed CamoFourier. Our method leverages a conditional generative adversarial network and cross-attention mechanism to generate a reference image and an adaptive hybrid swapping with parameters to mix the low-frequency component of the reference image and the high-frequen