[논문 리뷰] Camouflaged Image Synthesis Is All You Need to Boost Camouflaged Detection

Haichao Zhang, Can Qin외 2명|arXiv (Cornell University)|2023. 08. 13.

Visual Attention and Saliency DetectionComputer Science인용 수 3

한 줄 요약

이 논문은 캠oufl라지 객체 검출에서의 데이터 부족 문제를 해결하기 위해 캠oufl라지 환경 생성기와 분포 인식 분류기를 활용하는 GAN 기반 프레임워크인 SCODE를 제안한다. 다양한 고품질의 합성 데이터를 생성함으로써, SCODE는 세 가지 벤치마크에서 검출 성능을 향상시키며, COD10k, CAMO, CHAMELEON에서 최신 기술을 초월한다.

ABSTRACT

Camouflaged objects that blend into natural scenes pose significant challenges for deep-learning models to detect and synthesize. While camouflaged object detection is a crucial task in computer vision with diverse real-world applications, this research topic has been constrained by limited data availability. We propose a framework for synthesizing camouflage data to enhance the detection of camouflaged objects in natural scenes. Our approach employs a generative model to produce realistic camouflage images, which can be used to train existing object detection models. Specifically, we use a camouflage environment generator supervised by a camouflage distribution classifier to synthesize the camouflage images, which are then fed into our generator to expand the dataset. Our framework outperforms the current state-of-the-art method on three datasets (COD10k, CAMO, and CHAMELEON), demonstrating its effectiveness in improving camouflaged object detection. This approach can serve as a plug-and-play data generation and augmentation module for existing camouflaged object detection tasks and provides a novel way to introduce more diversity and distributions into current camouflage datasets.

연구 동기 및 목표

• 실제 캠oufl라지 객체 검출(COD)에 필요한 데이터가 부족한 문제를 해결하여 딥러닝 모델의 성능을 향상시키는 데 초점을 맞춘다.
• 자연적으로 드문 캠oufl라지 이미지의 특성상 배경과 시각적으로 유사하여 수집 및 레이블링이 어려운 점을 해결한다.
• 다양하고 현실적인 캠oufl라지 이미지와 정확한 인스턴스 수준 마스크를 생성하는 데이터 생성 프레임워크를 개발하여 검출 성능의 일반화 능력을 향상시킨다.
• 재학습 없이도 도메인 외 자연 이미지로의 제로샷 전이를 가능하게 하여, 자연 이미지에서 캠oufl라지 이미지로의 변환 가능성을 입증한다.
• 기존 검출 모델과 호환되는 플러그 앤 플레이 데이터 증강 모듈을 제공하여 아키텍처 변경 없이 성능 향상을 가능하게 한다.

제안 방법

• 마스크 레이블이 있는 데이터셋에서 확보한 전경 객체와 새로 생성된 배경을 조합하여 조건부 GAN 기반 생성기를 활용해 캠oufl라지 이미지를 합성한다.
• 노이즈 주입과 캠oufl라지 분포 분류기를 활용해 현실적인 전경과 배경의 혼합을 이끄는 캠oufl라지 환경 생성기(CEG)를 도입한다.
• 대부분의 GAN과 유사한 적대적 손실, L1 재구성 손실에 더해 새로운 캠oufl라지 분포 손실을 조합한 복합 손실을 사용해 생성기의 훈련을 수행함으로써 의미적 및 감각적 현실감을 확보한다.
• 생성기의 잠재 공간을 활용해 추론 중 노이즈 벡터를 조작하고 잠재 코드를 보간함으로써 다양성을 제어한다.
• 미리 훈련된 SCODE 생성기를 고정하고, 이를 COCO-STUFF와 같은 새로운 자연 이미지에 적용하여 제로샷 캠oufl라지 번역 능력을 평가한다.
• SCODE가 생성한 데이터로 검출 모델을 미세조정한 후, COD10k, CAMO, CHAMELEON에서 표준 평가 지표(Fβ, Sα, Eϕ, M)를 사용해 검출 성능을 평가한다.

실험 결과

연구 질문

• RQ1 GAN 기반의 데이터 합성은 실제 캠oufl라지 이미지와 다양성을 갖춘 현실적인 캠oufl라지 이미지를 생성함으로써 캠oufl라지 객체 검출에서의 데이터 부족 문제를 효과적으로 해결할 수 있는가?
• RQ2 제안된 분포 인식 손실을 갖춘 캠oufl라지 환경 생성기는 표준 GAN이나 확산 모델에 비해 합성된 캠oufl라지 이미지의 현실감과 혼합 품질을 어떻게 향상시키는가?
• RQ3 SCODE에서 생성한 합성 데이터는 여러 벤치마크 데이터셋에서 기존 캠oufl라지 객체 검출 모델의 성능을 얼마나 향상시킬 수 있는가?
• RQ4 SCODE 프레임워크는 미세조정 없이 도메인 외 자연 이미지로 일반화 가능한가? 이는 자연 이미지에서 캠oufl라지 이미지로의 변환 가능성을 입증하는가?
• RQ5 캠oufl라지 분포 손실과 노이즈 주입 메커니즘이 생성된 캠oufl라지 이미지의 품질과 다양성 향상에 기여하는 정도는 어떠한가?

주요 결과

• SCODE는 COD10k, CAMO, CHAMELEON 세 벤치마크에서 모두 최신 기술을 초월하며, Fβ, Sα, Eϕ 지표에서 뚜렷한 성능 향상을 보였다.
• COD10k에서 전체 SCODE 모델은 Fβ↑ 0.684와 M↓ 0.036를 기록했으며, CAM을 제외한 추론 변형(아블레이션) 대비 Fβ 0.676, M 0.037에 비해 성능 향상이 뚜렷했다.
• CAMO-Test에서 전체 모델은 Fβ를 0.736(비-CAM 버전 대비)에서 유지하면서도 M를 0.075에서 0.071로 감소시켜 지표 간 일관성 있는 향상을 보였다.
• CHAMELEON에서 전체 모델은 Sα↑ 0.892와 Eϕ↑ 0.959를 달성했으며, 아블레이션 버전 대비 0.886과 0.919에 비해 향상되었고, 전체 프레임워크의 유용성을 확인했다.
• 모델은 미세조정 없이 도메인 외 자연 이미지(COCO-STUFF 등)로 일반화되어, 캠oufl라지가 아닌 객체에 대해서도 타당한 캠oufl라지 배경을 성공적으로 생성했다.
• 아블레이션 연구를 통해 캠oufl라지 인식 모듈(CAM)과 노이즈 주입 기법이 마스크 일관성과 이미지 현실감을 뚜렷이 향상시키며, 정량적·정성적 결과로 이를 입증했다.