[논문 리뷰] Boundary-aware Camouflaged Object Detection via Deformable Point Sampling

Minhyeok Lee, Suhwan Cho외 4명|arXiv (Cornell University)|2022. 11. 22.

Visual Attention and Saliency Detection인용 수 4

한 줄 요약

이 논문은 국소적 경계 세부 정보와 전역적 맥락 정보를 융합하여 특징 추출을 향상시키기 위해 탄성 점 샘플링 트랜스포머(DPS 트랜스포머)를 사용하는 새로운 경계 인식 캄ouflage 객체 검출 네트워크인 DPS-Net을 제안한다. 이 방법은 CHAMELEON, CAMO, COD10K 데이터셋에서 높은 정확도와 추론 효율성을 확보하여 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

The camouflaged object detection (COD) task aims to identify and segment objects that blend into the background due to their similar color or texture. Despite the inherent difficulties of the task, COD has gained considerable attention in several fields, such as medicine, life-saving, and anti-military fields. In this paper, we propose a novel solution called the Deformable Point Sampling network (DPS-Net) to address the challenges associated with COD. The proposed DPS-Net utilizes a Deformable Point Sampling transformer (DPS transformer) that can effectively capture sparse local boundary information of significant object boundaries in COD using a deformable point sampling method. Moreover, the DPS transformer demonstrates robust COD performance by extracting contextual features for target object localization through integrating rough global positional information of objects with boundary local information. We evaluate our method on three prominent datasets and achieve state-of-the-art performance. Our results demonstrate the effectiveness of the proposed method through comparative experiments.

연구 동기 및 목표

• 색상과 질감이 유사하여 배경과 시각적으로 구분이 어려운 캄ouflage 객체를 탐지하는 데 도전하는 것.
• 객체와 배경이 시각적으로 유사할 경우 기존 모델이 미세한 경계 세부 정보를 포착하는 데 어려움을 겪는 문제를 해결하는 것.
• 희소하고 적응적인 특징 샘플링을 통해 계산 오버헤드를 줄이며 동시에 높은 탐지 정확도를 유지함으로써 모델 효율성을 향상시키는 것.
• 통합된 트랜스포머 기반 프레임워크에서 국소적 경계 정보와 전역적 객체 위치 신호를 통합하여 특징 표현을 향상시키는 것.

제안 방법

• DPS 트랜스포머는 학습된 오프셋을 가진 탄성 샘플링 점을 사용하는 局소 추출기로, 주목할 만한 경계 영역에 집중함으로써 국소적 특징 추출의 효율성을 향상시킨다.
• 전역 추출기는 마스킹된 특징 영역에 대한 전역 평균 풀링을 통해 객체 및 배경 영역 마스크를 생성하여 강력한 전역 맥락 학습을 가능하게 한다.
• 집계기(aggregator)는 국소적 경계 특징과 전역 맥락 특징을 융합하여 객체 정위치 향상에 기여하는 종합적 표현을 생성한다.
• 탄성 점 샘플링 메커니즘은 예측된 오프셋에 기반해 유의미한 점을 동적으로 선택함으로써 계산량을 줄이고 특징의 관련성을 높인다.
• 경계 디코더와 경계 특징 모듈(BFM)을 통합하여 예측된 경계 맵을 사용해 특징 융합을 안내하고 경계 예측을 정밀하게 개선한다.
• 모델은 CNN 기반(DPS-Net-R)과 트랜스포머 기반(DPS-Net-P) 인코더를 모두 구현하여 고속 추론과 뛰어난 성능을 동시에 달성한다.

실험 결과

연구 질문

• RQ1 탄성 점 샘플링이 캄ouflage 객체 검출에서 희소하고 의미 있는 경계 특징을 추출하는 데 효과적인가?
• RQ2 국소적 경계 특징과 전역 맥락 정보를 융합할 경우, 저대비, 캄ouflage가 풍부한 환경에서 탐지 정확도에 어떤 영향을 미치는가?
• RQ3 반복적 또는 밀도 높은 샘플링 방법과 비교해 제안된 DPS 트랜스포머가 계산 비용을 얼마나 줄일 수 있는가?
• RQ4 경계 디코더와 BFM의 통합이 미세한 전경-배경 경계를 구분하는 데 모델의 능력을 상당히 향상시키는가?

주요 결과

• 제안된 DPS-Net은 CHAMELEON, CAMO, COD10K 세 가지 벤치마크 데이터셋에서 최신 기술 수준 성능을 달성하여 뛰어난 탐지 정확도를 입증했다.
• CNN 기반 버전인 DPS-Net-R는 오직 4190만 개의 파라미터로 36.3 FPS의 추론 속도를 달성하여, [17]의 SegMaR보다 빠른 속도와 더 낮은 파라미터 효율성을 확보했다.
• 탄성 점 샘플링 방법은 3×3 기준 점에서 최적 성능을 보이며, 그 이상으로는 수익 감소 현상이 나타나 최적의 효율성과 효과성을 확인했다.
• 제거 실험 결과, BFM와 함께 경계 디코더를 사용할 경우 경계 맵의 맵핑을 효과적으로 안내함으로써 마스크 예측 성능이 향상됨을 확인했다.
• DPS 트랜스포머는 표준 인코더 대비 더 나은 객체 경계를 포착하는 활성화 맵을 보여주며 특징 표현을 크게 향상시켰다.
• PVTv2-B4 백본을 사용하는 DPS-Net-P 버전은 SegMaR [17]과 유사한 높은 성능을 달성했지만, 더 빠른 추론 속도와 더 낮은 파라미터 수를 확보했다.