[논문 리뷰] Fast Camouflaged Object Detection via Edge-based Reversible Re-calibration Network

Ge-Peng Ji, Lei Zhu외 2명|arXiv (Cornell University)|2021. 11. 05.

Visual Attention and Saliency Detection참고 문헌 98인용 수 23

한 줄 요약

이 논문은 빠르고 정확한 가림막 객체 검출(COD)을 위한 새로운 엣지 기반 가역 재보정 네트워크인 ERRNet을 제안한다. 선택적 엣지 집합(Sea)과 가역 재보정 유닛(RRU)을 통합함으로써 생물학적 시각 인지 모델을 효과적으로 모사하며, 엣지 및 전역 사전 지식을 활용해 경계 검출 성능을 향상시킨다. COD10K에서 평균 E-측도 0.867과 79.3 FPS의 추론 속도를 기록하여 이전의 방법들, 특히 SINet보다 약 6% 높은 E-측도 성능을 달성하며 최신 기술(SOTA) 수준을 확립한다.

ABSTRACT

Camouflaged Object Detection (COD) aims to detect objects with similar patterns (e.g., texture, intensity, colour, etc) to their surroundings, and recently has attracted growing research interest. As camouflaged objects often present very ambiguous boundaries, how to determine object locations as well as their weak boundaries is challenging and also the key to this task. Inspired by the biological visual perception process when a human observer discovers camouflaged objects, this paper proposes a novel edge-based reversible re-calibration network called ERRNet. Our model is characterized by two innovative designs, namely Selective Edge Aggregation (SEA) and Reversible Re-calibration Unit (RRU), which aim to model the visual perception behaviour and achieve effective edge prior and cross-comparison between potential camouflaged regions and background. More importantly, RRU incorporates diverse priors with more comprehensive information comparing to existing COD models. Experimental results show that ERRNet outperforms existing cutting-edge baselines on three COD datasets and five medical image segmentation datasets. Especially, compared with the existing top-1 model SINet, ERRNet significantly improves the performance by $\sim$6% (mean E-measure) with notably high speed (79.3 FPS), showing that ERRNet could be a general and robust solution for the COD task.

연구 동기 및 목표

• 경계가 모호하고 배경과 고도로 유사한 무늬를 가진 가림막 객체를 탐지하는 데 도전하는 것.
• 생물학적으로 영감을 얻은 메커니즘을 통해 전역 및 엣지 사전 지식을 통합함으로써 인간과 유사한 시각 인지 방식을 객체 검출에 반영하는 것.
• 잠재적 타깃과 그 주변 환경 간의 명시적 상호 비교를 모델링하여 검출 정확도와 추론 속도를 향상시키는 것.
• 자연적 COD뿐 아니라 의료 영상 분할 작업에도 적용 가능한 일반적이고 강력한 프레임워크를 개발하는 것.
• 기존 COD 모델이 엣지 신호와 맥락적 비교를 충분히 활용하지 못하는 한계를 극복하는 것.

제안 방법

• 저수준 특징에서 엣지 정보의 열화를 방지하고 엣지 특징 학습을 향상시키기 위해 선택적 엣지 집합(Sea)을 도입한다.
• 다양한 사전 지식(이웃, 전역, 엣지, 의미)을 가역적이고 파rameter 효율적인 방식으로 특징 맵을 재보정하는 가역 재보정 유닛(RRU)을 설계한다.
• 저수준 및 고수준 특징 맵 양쪽에 NEGS 사전 지식(이웃, 전역, 엣지, 의미)을 통합하여 검출 지도 및 경계 국소화 성능 향상에 기여한다.
• 전역 사전 지식 제안을 엣지 인식형 상호 비교를 통해 RRU 모듈을 이용해 개선하는 이중 경로 아키텍처를 활용한다.
• 표준 세그멘테이션 손실 함수를 사용해 네트워크를 엔드 투 엔드로 훈련함으로써 특징 학습과 재보정의 공동 최적화를 가능하게 한다.
• 폴립 및 폐 감염 데이터셋에서 미세조정을 통해 의료 영상 분할 작업에 모델을 적응시키며 일관된 성능 향상을 확보한다.

Figure 2 : The overall pipeline of the proposed ERRNet that contains three main cooperative components, including Atrous Spatial Pyramid Pooling (ASPP) for initiating global prior, Selective Edge Aggregation (SEA) for generating edge prior, and Reversible Re-calibration Unit (RRU) for modulating and

실험 결과

연구 질문

• RQ1 생물학적으로 영감을 얻은 시각 인지 메커니즘이 엣지 및 전역 맥락을 강조함으로써 가림막 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 딥 네트워크 내에서 엣지 사전 지식을 효과적으로 집계하고 유지할 수 있는가? 이를 통해 약한 경계 검출 성능을 향상시킬 수 있는가?
• RQ3 다양한 사전 지식을 통합한 가역 재보정 유닛이 기존의 어텐션 또는 재보정 모듈보다 COD에서 더 우수한 성능을 낼 수 있는가?
• RQ4 제안된 프레임워크는 자연 환경 COD와 의료 영상 분할을 포함한 다양한 도메인으로 일반화 가능한가?
• RQ5 기존 SOTA 방법에 비해 모델의 추론 속도와 정확도가 COD 및 의료 분할 벤치마크에서 얼마나 뛰어나게 초월하는가?

주요 결과

• ERRNet은 COD10K 데이터셋에서 평균 E-측도 0.867을 기록하여 이전 SOTA 모델인 SINet보다 약 6% 높은 성능을 달성한다.
• 모델은 79.3 FPS의 높은 추론 속도를 유지하여 실시간 구현에 적합한 성능을 보인다.
• 의료 분할 작업에서는 폴립 및 폐 감염 분할 데이터셋에서 모두 6개의 SOTA 기반 모델을 초월하며, COVID-19 데이터셋에서 Inf-Net 대비 감도(Sen.) 12% 향상된 성능을 기록한다.
• 절단 실험 결과, SEA 및 RRU 모듈이 모두 필수적임을 확인하였으며, 특히 다중 사전 지식 기반 재보정을 통해 RRU가 뚜렷한 성능 향상을 이룬다.
• ERRNet은 세 개의 COD 데이터셋에서 1위를 기록하였고, 다섯 개인 의료 영상 분할 벤치마크에서 일관되게 기존 모델을 압도한다.
• 기본 ResNet-50 백본을 사용함에도 불구하고, 더 강력한 Res2Net-50 백본을 사용한 Inf-Net을 뛰어넘는 성능을 보이며, 특히 감도 및 E-측도 지표에서 뛰어난 성능을 발휘한다.

Figure 3 : Visualization of each component in the NEGS priors, i.e. , edge prior in (c), global prior in (d), and neighbour prior in (e) & (f). Specifically, the re-calibration stage treats the intermediate outputs of the network as the prior cues to enhance the reliability and stability of the lear