[논문 리뷰] Camouflaged Instance Segmentation In-The-Wild: Dataset And Benchmark Suite

Trung-Nghia Le, Yubo Cao외 6명|arXiv (Cornell University)|2021. 03. 31.

Visual Attention and Saliency Detection참고 문헌 49인용 수 5

한 줄 요약

이 논문은 야생 환경에서 유 camouflage된 인스턴스 세그멘테이션을 위한 대규모이고 다양한 데이터셋인 CAMO++와 벤치마크 세트, 그리고 Camouflage Fusion Learning (CFL) 프레임워크를 소개한다. 제안된 방법은 다중 수준 특징 융합과 주의 메커니즘을 활용하여 유 camouflage된 인스턴스 세그멘테이션 분야에서 최신 기술 수준 성능을 크게 향상시키며, 복잡한 자연 환경에서 강력한 일반화 능력을 보여준다.

ABSTRACT

This paper pushes the envelope on camouflaged regions to decompose them into meaningful components, namely, camouflaged instances. To promote the new task of camouflaged instance segmentation in-the-wild, we introduce a new dataset, namely CAMO++, by extending our preliminary CAMO dataset (camouflaged object segmentation) in terms of quantity and diversity. The new dataset substantially increases the number of images with hierarchical pixel-wise ground-truths. We also provide a benchmark suite for the task of camouflaged instance segmentation. In particular, we conduct extensive evaluation of state-of-the-art instance segmentation methods on our newly constructed CAMO++ dataset in various scenarios. We also propose Camouflage Fusion Learning (CFL) framework for camouflaged instance segmentation to further improve the state-of-the-art performance. The dataset, models, evaluation suite, and benchmark will be publicly available at our project page: this https URL

연구 동기 및 목표

• 자연적이고 제약이 없는 환경에서 유 camouflage된 인스턴스 세그멘테이션을 위한 대규모이고 다양한 데이터셋의 부족을 해결하기 위해.
• 색상, 질감, 형태 모방으로 인해 주변 환경와 완벽하게 융합된 유 camouflage된 물체를 탐지하고 세그멘테이션하는 데 도전하는 데에.
• 유 camouflage된 영역에서 최신 기술 수준의 인스턴스 세그멘테이션 모델을 평가하고 비교할 수 있는 견고한 벤치마크 세트를 개발하기 위해.
• 유 camouflage된 인스턴스의 특징 표현과 세그멘테이션 정확도를 향상시키기 위해 새로운 딥러닝 프레임워크인 Camouflage Fusion Learning (CFL)을 제안하기 위해.
• 연구를 가속화하기 위해 데이터셋, 모델, 평가 도구를 공개적으로 제공하기 위해.

제안 방법

• 기존 CAMO 데이터셋을 유 camouflage된 인스턴스에 대한 계층적 픽셀 단위의 레이블을 추가함으로써 이미지 수를 크게 증가시켜 CAMO++로 확장한다.
• 유 camouflage된 물체를 포함한 다양한 실제 환경 시나리오에서 최신 기술 수준의 인스턴스 세그멘테이션 모델을 평가할 수 있는 벤치마크 세트를 설계한다.
• 백본 네트워크에서 유도된 다중 해상도 특징을 주의 기반 융합 모듈을 사용해 통합하는 Camouflage Fusion Learning (CFL) 프레임워크를 제안한다.
• 유 camouflage된 영역의 표현을 향상시키기 위해 이중 분지형 특징 집약 메커니즘을 도입하여 미세한 질감과 경계 신호를 강조한다.
• 픽셀 단위의 교차 엔트로피 손실과 DICE 손실을 사용하여 CFL 모델을 엔드 투 엔드로 훈련시켜 인스턴스 세그멘테이션 성능을 최적화한다.
• 특징 중요도를 동적으로 가중치를 부여하기 위해 주의 모듈을 통합하여, 일반적으로 유 camouflage된 물체에서 나타나는 모호하고 저대비 영역에 집중한다.

실험 결과

연구 질문

• RQ1 자연적이고 제약이 없는 이미지에서 유 camouflage된 물체에 기존의 인스턴스 세그멘테이션 모델을 적용했을 때 성능이 어떻게 저하되는가?
• RQ2 CAMO++ 데이터셋의 다양성과 규모가 유 camouflage된 인스턴스 세그멘테이션 모델의 일반화 능력과 견고성에 얼마나 기여하는가?
• RQ3 Camouflage Fusion Learning (CFL)과 같은 전용 융합 메커니즘이 표준 인스턴스 세그멘테이션 아키텍처에 비해 유 camouflage된 인스턴스의 세그멘테이션 정확도를 크게 향상시킬 수 있는가?
• RQ4 CFL 프레임워크의 다양한 구성 요소가 도전적인 유 camouflage된 영역에서 성능 향상에 기여하는 방식은 무엇인가?
• RQ5 성공적인 유 camouflage된 인스턴스 세그멘테이션을 가능하게 하는 주요 시각적 및 의미적 단서는 무엇이며, 제안된 프레임워크에서는 어떻게 이를 포착하는가?

주요 결과

• CAMO++ 데이터셋은 이전 버전에 비해 훨씬 더 많은 이미지와 계층적 픽셀 단위의 레이블을 포함하고 있어, 보다 종합적이고 다양한 평가를 가능하게 한다.
• 최신 기술 수준의 인스턴스 세그멘테이션 모델은 야생 환경의 유 camouflage된 영역에 적용되었을 때 성능이 심각하게 저하됨을 확인하였으며, 이는 전용 벤치마크가 필요함을 시사한다.
• Camouflage Fusion Learning (CFL) 프레임워크는 다중 해상도 특징 융합과 미세한 유 camouflage된 영역의 단서를 강조함으로써 CAMO++에서 최신 기술 수준의 성능을 달성한다.
• 제거 실험 결과, CFL의 주의 기반 특징 융합 메커니즘이 모호하고 저대비 영역에서의 세그멘테이션 정확도 향상에 핵심적인 역할을 한다는 것이 확인되었다.
• 벤치마크 세트는 현재의 모델들이 유 camouflage된 환경에서 세부 경계 정렬과 인스턴스 분리에 어려움을 겪고 있음을 드러내며, 이 작업의 도전성을 강조한다.
• 데이터셋, 모델, 평가 도구의 공개는 유 camouflage된 인스턴스 세그멘테이션 분야의 연구를 더욱 가속화할 것으로 기대된다.