[논문 리뷰] Concealed Object Detection

Deng-Ping Fan, Ge-Peng Ji외 2명|arXiv (Cornell University)|2021. 02. 20.

Adversarial Robustness in Machine Learning참고 문헌 123인용 수 4

한 줄 요약

이 논문은 숨겨진 물체 검출(COD)에 대한 최초의 종합적 연구를 제안하며, 10,000장의 이미지와 78개 카테고리에 걸쳐 풍부한 애너테이션을 포함한 대규모 COD10K 데이터셋을 소개한다. 또한 복잡한 구성 요소 없이도 12개의 고급 기준 모델을 능가하는 최신 기술 수준의 성능을 달성하는 단순하지만 효과적인 검색-식별 네트워크인 SINet을 제시한다.

ABSTRACT

We present the first systematic study on concealed object detection (COD), which aims to identify objects that are "perfectly" embedded in their background. The high intrinsic similarities between the concealed objects and their background make COD far more challenging than traditional object detection/segmentation. To better understand this task, we collect a large-scale dataset, called COD10K, which consists of 10,000 images covering concealed objects in diverse real-world scenarios from 78 object categories. Further, we provide rich annotations including object categories, object boundaries, challenging attributes, object-level labels, and instance-level annotations. Our COD10K is the largest COD dataset to date, with the richest annotations, which enables comprehensive concealed object understanding and can even be used to help progress several other vision tasks, such as detection, segmentation, classification, etc. Motivated by how animals hunt in the wild, we also design a simple but strong baseline for COD, termed the Search Identification Network (SINet). Without any bells and whistles, SINet outperforms 12 cutting-edge baselines on all datasets tested, making them robust, general architectures that could serve as catalysts for future research in COD. Finally, we provide some interesting findings and highlight several potential applications and future directions. To spark research in this new field, our code, dataset, and online demo are available on our project page: http://mmcheng.net/cod.

연구 동기 및 목표

• 컴퓨터 시각 분야에서 중요한데도 불구하고 연구가 부족한 숨겨진 물체 검출(COD)을 위한 대규모이고 밀도 높은 애너테이션을 가진 데이터셋의 부족을 해결하기 위해.
• 카테고리, 바운딩 박스, 인스턴스 마스크, 속성, 매트팅 수준의 레이블을 포함한 풍부한 애너테이션을 갖춘 새로운 데이터셋을 도입하여 COD에 대한 표준화된 벤치마크를 구축하기 위해.
• 기존 최신 기술 수준의 방법들을 능가하는 강력하고 일반화 능력이 뛰어난 딥 러닝 프레임워크를 개발하기 위해.
• 동물의 사냥 행동에서 영감을 얻은 검색-식별 전략을 사용하여, 빛에 의해 가려진 물체를 탐지하는 데의 가능성 탐색을 위해.
• 다중 모odal 탐지, 유니버설 네트워크, 신경망 아키텍처 탐색 등을 포함한 열 가지 열린 연구 방향을 규명하여 향후 연구를 자극하기 위해.

제안 방법

• 실제 세계의 10,000장의 이미지로 구성된 대규모 데이터셋인 COD10K를 제안하며, 78개의 물체 카테고리에 대해 카테고리, 바운딩 박스, 물체 수준 마스크, 인스턴스 수준 마스크, 에지 맵, 그리고 도전적인 속성(예: 형태 복잡성, 가림, 정의되지 않은 경계)을 애너테이션한다.
• 동물의 사냥 행동에서 영감을 얻은 검색-식별 전략을 채택한 단순하지만 강력한 엔드 투 엔드 네트워크인 SINet을 도입하며, 이는 이중 브랜치 아키텍처를 사용해 먼저 잠재적인 영역을 탐색하고 나서 정밀한 세그멘테이션을 개선한다.
• 다양한 단계에서 보조적 supervision을 사용하는 다단계 감독 전략을 적용하여 특징 학습을 향상시키고 마스크 예측 정확도를 향상시킨다.
• 밀도 높은 예측 작업인 인스턴스 세그멘테이션에 더 나은 최적화를 가능하게 하기 위해 교차 엔트로피 손실과 Dice 손실의 조합을 사용하여 훈련한다.
• 특히 자원이 제한된 상황에서 일반화 능력을 향상시키기 위해 COD10K의 일부를 대상으로 자기지도 학습 전처리 전략을 적용한다.
• 다양한 기존 COD 벤치마크에서 프레임워크를 검증하여, 다양한 실제 세계 시나리오에서 뛰어난 일반화 능력과 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 숨겨진 물체 검출을 위한 대규모이고 밀도 높은 애너테이션을 가진 데이터셋을 어떻게 구성할 수 있을까? 이는 종합적인 벤치마크와 모델 평가를 지원하기 위해 필수적이다.
• RQ2 복잡한 아키텍처나 기능 없이도 단순한 엔드 투 엔드 딥 러닝 프레임워크가 복잡한 최신 기술 수준의 모델보다 숨겨진 물체 검출에서 뛰어난 성능을 낼 수 있는가?
• RQ3 동물의 사냥 행동에서 영감을 얻은 검색-식별 전략은 특히 잘 가려진 물체에 대해 탐지 성능을 얼마나 향상시킬 수 있는가?
• RQ4 숨겨진 물체 검출을 특히 어렵게 만드는 핵심 속성은 무엇이며, 이러한 속성들은 모델 성능에 어떤 영향을 미치는가?
• RQ5 현재의 한계를 넘어 숨겨진 물체 검출을 발전시키기 위해 가장 유망한 미래 연구 방향은 무엇인가?

주요 결과

• SINet은 모든 테스트된 COD 데이터셋에서 최신 기술 수준의 성능을 달성하며, F-측정, 평균 Dice, 평균 IoU를 포함한 모든 평가 지표에서 12개의 최첨단 기준 모델을 능가한다.
• SINet의 검색-식별 전략은 매우 효과적임을 입증하였으며, 먼저 후보 영역을 탐색하고 나서 정확한 경계를 식별하는 이중 단계 접근 방식이 단일 단계 탐지보다 열등한 결과를 낼 수 있음을 보여준다.
• COD10K 데이터셋은 매트팅 수준의 레이블까지 포함해 총 10,000장의 이미지로 구성되어 있으며, 이미지당 약 60분이 소요되는 고품질의 감독을 보장한다.
• 이 데이터셋은 육상, 수중, 비행, 양서류 유형을 포함한 78개의 다양한 물체 카테고리로 구성되어 있으며, 형태 복잡성, 가림, 정의되지 않은 경계 등의 도전적인 속성을 포함한다.
• SINet는 단지 4시간의 훈련 시간으로도 이 성능을 달성하여, 실세계 적용에 있어 높은 효율성과 실용성을 보여준다.
• 본 연구는 현재의 주목적 물체 검출 모델이 숨겨진 물체에 대해 일반화 능력이 떨어짐을 드러내며, 전용 COD 프레임워크와 데이터셋이 필요함을 시사한다.