[논문 리뷰] Towards Deeper Understanding of Camouflaged Object Detection

Yunqiu Lv, Jing Zhang외 4명|arXiv (Cornell University)|2022. 05. 23.

Ocular Surface and Contact Lens인용 수 9

한 줄 요약

이 논문은 캄ouflage된 객체 탐지를 위한 혁신적인 삼중 작업 학습 프레임워크를 소개한다. 이 프레임워크는 동시에 분류 가능한 영역을 국소화하고, 캄ouflage된 객체를 세분화하며, 그들의 캄ouflage 난이도를 순위화한다. 명백성(Conspicuousness)을 모델링하고 눈의 움직임 기반 국소화 지도를 사용함으로써, 이 방법은 최신 기술 수준의 성능을 달성하며 자연과 시각 시스템 내 캄ouflage 메커니즘에 대한 더 깊은 해석 가능성을 제공한다.

ABSTRACT

Preys in the wild evolve to be camouflaged to avoid being recognized by predators. In this way, camouflage acts as a key defence mechanism across species that is critical to survival. To detect and segment the whole scope of a camouflaged object, camouflaged object detection (COD) is introduced as a binary segmentation task, with the binary ground truth camouflage map indicating the exact regions of the camouflaged objects. In this paper, we revisit this task and argue that the binary segmentation setting fails to fully understand the concept of camouflage. We find that explicitly modeling the conspicuousness of camouflaged objects against their particular backgrounds can not only lead to a better understanding about camouflage, but also provide guidance to designing more sophisticated camouflage techniques. Furthermore, we observe that it is some specific parts of camouflaged objects that make them detectable by predators. With the above understanding about camouflaged objects, we present the first triple-task learning framework to simultaneously localize, segment, and rank camouflaged objects, indicating the conspicuousness level of camouflage. As no corresponding datasets exist for either the localization model or the ranking model, we generate localization maps with an eye tracker, which are then processed according to the instance level labels to generate our ranking-based training and testing dataset. We also contribute the largest COD testing set to comprehensively analyse performance of the COD models. Experimental results show that our triple-task learning framework achieves new state-of-the-art, leading to a more explainable COD network. Our code, data, and results are available at: \url{https://github.com/JingZhang617/COD-Rank-Localize-and-Segment}.

연구 동기 및 목표

• 이중 세분화의 한계를 해결하기 위해 캄ouflage된 객체 탐지(COD)에서 계층적 인지 및 진화적 메커니즘을 포착하지 못하는 문제를 해결한다.
• 인간이 전체 객체를 인식하는 대신 가장 명백한 영역을 식별함으로써 캄ouflage된 객체를 어떻게 탐지하는지 연구한다.
• 각 인스턴스에 대해 캄ouflage 난이도 순위 점수를 추정하여 캄ouflage의 난이도를 정량적으로 측정한다.
• 다양한 조건에서 COD 모델 성능을 종합적으로 분석할 수 있도록 세분화된 특성들을 갖춘 새로운 벤치마크 데이터셋을 개발한다.

제안 방법

• 통합 네트워크 아키텍처를 사용하여 캄ouflage된 객체 국소화, 세분화, 캄ouflage 순위 매기기 작업을 동시에 수행하는 삼중 작업 학습 프레임워크를 제안한다.
• 인간 관찰자의 눈의 움직임 데이터를 사용하여 지도 국소화 지도를 생성하고, 이를 인스턴스 수준의 애너테이션을 통해 순위 기반 학습 데이터셋으로 변환한다.
• 세분화를 위한 이진 교차 엔트로피, 국소화를 위한 L1 손실, 캄ouflage 난이도 추정을 위한 순위 인식 손실을 조합한 새로운 손실 함수를 도입한다.
• 배경 복잡성, 객체 크기, 가림, 산란 색채 등의 세분화된 특성을 갖춘 대규모이고 종합적인 COD 테스트 세트를 구축한다.
• 기존 COD 데이터셋을 10개의 세분화된 특성으로 재애너테이션하여 다양한 캄ouflage 전략과 환경 조건에서의 성능 분석을 가능하게 한다.
• 단일 순방향 전파에서 세분화 마스크, 분류 가능한 영역 지도, 캄ouflage 순위 점수를 예측하기 위해 다중 헤드 디코더 헤드를 활용한다.

실험 결과

연구 질문

• RQ1 캄ouflage된 객체의 어떤 특정 영역이 인간 관찰자에게 가장 탐지 가능하며, 이를 국소화함으로써 탐지 성능을 향상시킬 수 있는가?
• RQ2 캄ouflage 정도는 어떻게 정량적으로 측정할 수 있으며, 높은 캄ouflage 난이도를 유도하는 요소는 무엇인가?
• RQ3 통합 딥 러닝 프레임워크가 동시에 캄ouflage된 객체를 국소화하고, 세분화하며, 순위를 매길 수 있는가?
• RQ4 배경 복잡성, 객체 크기, 가림, 산란 색채 등의 다양한 캄ouflage 특성이 기존 COD 모델의 성능에 어떤 영향을 미치는가?
• RQ5 기존 COD 모델가 다양한 캄ouflage 전략에 대해 얼마나 일반화되어 있으며, 세분화된 특성 분석을 바탕으로 모델 설계를 어떻게 개선할 수 있는가?

주요 결과

• 제안된 삼중 작업 프레임워크는 여러 COD 벤치마크에서 최신 기술 수준의 성능을 달성하며, 뛰어난 세분화 및 국소화 정확도를 보여준다.
• 가림 속성에서 최고 성능을 기록하였고, 산란 색채, 모방, 소형 객체 카테고리에서는 두 번째로 높은 순위를 기록하였다.
• 복잡한 배경, 모서리 위치, 가림, 소형 객체 속성이 있는 이미지는 '어려움'으로 분류될 가능성이 뚜렷하게 높았다.
• 선명한 객체 속성은 '쉬움' 샘플과 강하게 상관관계가 있으며, 이는 높은 선명도가 탐지 용이성을 높임을 확인한다.
• 대부분의 속성에서 균형 잡힌 성능을 보이며, 다양한 캄ouflage 전략과 환경 조건에 대한 강건성을 보였다.
• 세분화된 속성 분석을 통해 모방과 복잡한 배경이 가장 도전적인 속성임을 확인하였으며, 이는 '어려움'으로 순위 매겨진 샘플 비율이 가장 높았다.