[논문 리뷰] Camouflaged Object Segmentation with Distraction Mining

Haiyang Mei, Ge-Peng Ji외 4명|arXiv (Cornell University)|2021. 04. 21.

Visual Attention and Saliency Detection참고 문헌 67인용 수 32

한 줄 요약

PFNet는 위장 물체 분할을 위한 생체 영감을 받은 위치 지정 및 초점 프레임워크를 도입하고, distraction mining으로 위양성을 억제하고 위음성을 복구하여 실시간 속도에서 최첨단 성능을 달성합니다.

ABSTRACT

Camouflaged object segmentation (COS) aims to identify objects that are "perfectly" assimilate into their surroundings, which has a wide range of valuable applications. The key challenge of COS is that there exist high intrinsic similarities between the candidate objects and noise background. In this paper, we strive to embrace challenges towards effective and efficient COS. To this end, we develop a bio-inspired framework, termed Positioning and Focus Network (PFNet), which mimics the process of predation in nature. Specifically, our PFNet contains two key modules, i.e., the positioning module (PM) and the focus module (FM). The PM is designed to mimic the detection process in predation for positioning the potential target objects from a global perspective and the FM is then used to perform the identification process in predation for progressively refining the coarse prediction via focusing on the ambiguous regions. Notably, in the FM, we develop a novel distraction mining strategy for distraction discovery and removal, to benefit the performance of estimation. Extensive experiments demonstrate that our PFNet runs in real-time (72 FPS) and significantly outperforms 18 cutting-edge models on three challenging datasets under four standard metrics.

연구 동기 및 목표

• 포식 탐지 및 식별 단계 모방으로 COS 동기를 자극한다.
• 위장 대상물을 찾고 다듬기 위한 두 모듈 네트워크(Positioning Module과 Focus Module)를 개발한다.
• 오탐을 발견하고 제거하기 위한 distraction mining 전략을 도입한다.
• 다양한 벤치마크에서 실시간 COS를 달성하면서 우수한 정확도를 보여준다.
• PM 및 FM 구성요소의 기여를 보여주는 제거 실험을 제시한다.

제안 방법

• ResNet-50 백본이 RGB 이미지에서 다층 특징을 추출한다.
• Positioning Module은 채널 및 공간 비지역 주의를 사용하여 초기 목표 위치 맵을 생성한다.
• Focus Module은 전경-및 배경 주의 특징과 컨텍스트 탐색 블록으로 distraction mining을 수행하여 위양성/위음성을 발견한다.
• Distraction discovery는 다중 스케일 확장을 가진 네 가지 분기 컨텍스트 탐색 블록을 사용하여 넓은 맥락을 포착한다.
• Distraction removal은 distraction-removed 특징을 뺏기/더하기로 결합하고 학습 가능한 스칼라를 통해 정제한다.
• 손실은 PM 손실(BCE + IoU)과 FM 손실(가중 BCE + 가중 IoU)을 점진적 다층 가중 체계로 결합한다.
• 학습은 SGD, ImageNet-사전 학습 백본, 416x416 입력, CRF와 같은 후처리 없이 72 FPS 추론을 사용한다.

실험 결과

연구 질문

• RQ1 생체 영감을 받은 위치 지정 및 초점 프레임워크가 최첨단 방법보다 COS를 개선할 수 있는가?
• RQ2 distraction mining이 COS에서 위양성 및 위음성 처리를 어떻게 바꾸는가?
• RQ3 PM과 FM 구성요소가 전체 성능에 어떤 기여를 하는가?
• RQ4 PFNet이 표준 COS 벤치마크에서 실시간 추론이 가능한가?
• RQ5 주의 블록 및 distraction 스트림의 ablations가 성능에 미치는 영향은?

주요 결과

• PFNet은 세 가지 COS 벤치마크(CHAMELEON, CAMO, COD10K)에서 S_alpha, E_ad, F_w, M의 네 가지 지표를 사용하여 최첨단 결과를 달성한다.
• PFNet은 SINet 및 기타 베이스라인을 크게 능가하며, 예를 들어 CHAMELEON에서: S_alpha 0.882, E_ad 0.942, F_w 0.810, M 0.033; CAMO에서: S_alpha 0.782, E_ad 0.852, F_w 0.695, M 0.085; COD10K에서: S_alpha 0.800, E_ad 0.868, F_w 0.660, M 0.040.
• 추론은 72 FPS로 실행되며 SINet의 72 FPS와 비교해 더 빠르다.
• Ablation 연구에서 위치 지정 모듈과 초점 모듈( distraction mining 구성요소 포함)이 성능을 크게 향상시킨다.
• contextual exploration 블록이 있는 distraction mining(오탐 및 위음성)을 통해 더 명확한 객체 구분과 위장 구조에 대한 더 나은 처리를 제공한다.
• 정성적 결과는 작은 물체, 큰 물체 및 다중 물체 위장 시나리오의 분할이 개선되었음을 보여준다.