[논문 리뷰] CamoFA: A Learnable Fourier-based Augmentation for Camouflage Segmentation

Minh-Quan Le, Minh–Triet Tran외 3명|arXiv (Cornell University)|2023. 08. 29.

Visual Attention and Saliency DetectionComputer Science인용 수 3

한 줄 요약

이 논문은 캄ouflage된 객체 검출(COD) 및 인스턴스 세그멘테이션(CIS)을 위한 학습 가능한 푸리에 기반 데이터 증강 방법인 CamoFourier를 제안한다. 이 방법은 조건부 GAN을 통해 기준 이미지를 생성하고, 교차 어텐션을 사용하여 특징을 정렬한 후, 기준 이미지의 저주파 성분과 입력 이미지의 고주파 성분을 적응형으로 하이브리드로 교환함으로써 모델 성능을 향상시킨다. 이는 아키텍처 변경 없이도 COD 및 CIS 벤치마크에서 최신 기술 수준의 성능을 크게 향상시킨다.

ABSTRACT

Camouflaged object detection (COD) and camouflaged instance segmentation (CIS) aim to recognize and segment objects that are blended into their surroundings, respectively. While several deep neural network models have been proposed to tackle those tasks, augmentation methods for COD and CIS have not been thoroughly explored. Augmentation strategies can help improve models' performance by increasing the size and diversity of the training data and exposing the model to a wider range of variations in the data. Besides, we aim to automatically learn transformations that help to reveal the underlying structure of camouflaged objects and allow the model to learn to better identify and segment camouflaged objects. To achieve this, we propose a learnable augmentation method in the frequency domain for COD and CIS via the Fourier transform approach, dubbed CamoFA. Our method leverages a conditional generative adversarial network and cross-attention mechanism to generate a reference image and an adaptive hybrid swapping with parameters to mix the low-frequency component of the reference image and the high-frequency component of the input image. This approach aims to make camouflaged objects more visible for detection and segmentation models. Without bells and whistles, our proposed augmentation method boosts the performance of camouflaged object detectors and instance segmenters by large margins.

연구 동기 및 목표

• 캄ouflage된 객체 검출 및 인스턴스 세그멘테이션에 특화된 효과적인 데이터 증강 전략의 부족을 해결하기 위해.
• 캄ouflage된 객체 내 숨겨진 구조를 드러내는 변환을 학습함으로써 모델의 일반화 및 강인성을 향상시키기 위해.
• 공간적 구조를 유지하면서도 캄ouflage된 객체의 가시성을 향상시키는 주파수 도메인 증강 방법을 개발하기 위해.
• 다양한 검출 및 세그멘테이션 아키텍처와 호환되는 유연하고 학습 가능한 증강 프레임워크를 구축하기 위해.

제안 방법

• 조건부 생성적 적대적 네트워크(cGAN)가 입력 이미지에서 기준 이미지를 생성하여 구조적 및 텍스처 정보의 근원으로 활용한다.
• 교차 어텐션 메커니즘이 입력 이미지와 생성된 기준 이미지 간의 공간적 대응 및 정렬을 학습하여 특징 일致성을 향상시킨다.
• 푸리에 변환을 사용하여 입력 이미지와 기준 이미지를 모두 주파수 도메인으로 변환하고, 진폭과 위상 성분을 분리한다.
• 적응형 하이브리드 교환 메커니즘이 기준 이미지의 저주파 진폭과 입력 이미지의 고주파 진폭을 조합하며, 이는 학습 가능한 파라미터 β에 의해 제어된다.
• 하이브리드 교환은 기준 이미지에서의 텍스처 및 색상 정보를 입력 이미지로 제어적으로 전달할 수 있게 하여 캄ouflage된 객체의 가시성을 향상시킨다.
• 역 푸리에 변환을 통해 증강된 이미지를 재구성함으로써 해상도와 공간적 구조를 유지하면서도 객체 경계를 두드러지게 한다.

Figure 1: Our CamoFourier not only preserves the spatial structure and resolution of an image but also highlights the underlying structure of camouflaged objects for better identification and segmentation.

실험 결과

연구 질문

• RQ1 학습 가능한 주파수 도메인 증강 방법이 캄ouflage된 객체 검출 및 인스턴스 세그멘테이션 작업에서 성능 향상에 기여할 수 있는가?
• RQ2 조건부 GAN과 교차 어텐션 메커니즘의 통합이 캄ouflage된 객체에 대한 증강 이미지의 품질과 관련성에 어떻게 기여하는가?
• RQ3 푸리에 성분의 적응형 하이브리드 교환 전략이 모델의 일반화 능력과 검출 정확도에 미치는 영향은 무엇인가?
• RQ4 캄ouflage된 객체의 배경 유사도가 높은 데에 특화되지 않은 기존 증강 방법과 비교해 CamoFourier는 어떻게 성능을 냈는가?
• RQ5 제안된 방법이 COD 및 CIS 분야의 다양한 최신 기술 수준 모델에 얼마나 일반화되는가?

주요 결과

• CamoFourier는 SINetV2와 OSFormer 모두를 COD 및 CIS 벤치마크에서 이전 최신 기술 수준의 방법을 능가하는 성능으로 향상시켰다.
• 교차 어텐션 메커니즘이 COD10K 및 NC4K 데이터셋의 모든 지표에서 성능 향상을 이끌었으며, F-측정, 평균 F-스코어, S-측정에서 일관된 개선을 보였다.
• 적응형 하이브리드 교환은 기본 진폭 교환 전략에 비해 측정 가능한 성능 향상을 이끌었으며, 정보 전달의 제어 능력이 중요함을 입증했다.
• 이전 최신 기술 수준인 CamDiff를 초월하여 COD 및 CIS 작업 전반에서 성능을 높여, 캄ouflage된 객체에 대한 모델 감도 향상 능력이 뛰어남을 확인했다.
• 정성적 결과에서는 CamoFourier가 캄ouflage된 객체의 구조를 더 명확히 드러내는 증강 이미지를 생성함으로써 더 나은 세그멘테이션과 검출을 가능하게 했다.
• 절단 실험 결과, 교차 어텐션 모듈과 적응형 하이브리드 교환 모두 최적의 성능을 내기 위해 필수적인 구성 요소임을 확인했다.

Figure 2: Overview of the proposed CamoFourier. Our method leverages a conditional generative adversarial network and cross-attention mechanism to generate a reference image and an adaptive hybrid swapping with parameters to mix the low-frequency component of the reference image and the high-frequen