[논문 리뷰] CamoFormer: Masked Separable Attention for Camouflaged Object Detection

Bowen Yin, Xuying Zhang외 4명|arXiv (Cornell University)|2022. 12. 10.

Visual Attention and Saliency Detection인용 수 27

한 줄 요약

CamoFormer는 encoder–decoder Transformer 프레임워크 내에서 Masked Separable Attention(MSA)를 도입하여 전경과 배경 신호를 분리하여 모델링하고, 주요 COD 벤치마크에서 최첨단 캠플라쥬 객체 탐지 성능을 달성한다.

ABSTRACT

How to identify and segment camouflaged objects from the background is challenging. Inspired by the multi-head self-attention in Transformers, we present a simple masked separable attention (MSA) for camouflaged object detection. We first separate the multi-head self-attention into three parts, which are responsible for distinguishing the camouflaged objects from the background using different mask strategies. Furthermore, we propose to capture high-resolution semantic representations progressively based on a simple top-down decoder with the proposed MSA to attain precise segmentation results. These structures plus a backbone encoder form a new model, dubbed CamoFormer. Extensive experiments show that CamoFormer surpasses all existing state-of-the-art methods on three widely-used camouflaged object detection benchmarks. There are on average around 5% relative improvements over previous methods in terms of S-measure and weighted F-measure.

연구 동기 및 목표

• 주변과 매우 유사한 캠플라주 객체의 분할 과제를 동기 부여하고 다루는 것.
• 전경, 배경 및 전역 관계를 처리하기 위해 머리 부분을 분리하는 새로운 Masked Separable Attention(MSA)을 제안하는 것.
• 다중 피처 레벨에서 MSA를 활용하여 분할 맵을 정교하게 다듬기 위한 점진적 상향식 디코더를 활용하는 것.
• 세 개의 COD 벤치마크에서 최첨단 성능을 시연하고 MSA 구성 요소의 기여를 분석하는 것.

제안 방법

• Transformer 기반 백본(PVTv2)을 갖는 인코더–디코더 아키텍처를 채택하여 다중 스케일 피처를 추출하는 것.
• Masked Separable Attention(MSA)을 도입하여 Foreground-TA(F-TA), Background-TA(B-TA), 일반 TA로 주의(heads)를 그룹화하고, 각 그룹은 예측된 전경 마스크를 사용하여 마스킹된 쿼리/키를 계산하는 것.
• 중간 예측으로부터 전경 마스크를 생성하고 이를 사용하여 F-TA와 B-TA 연산을 구동하는 한편, 일반 TA 출력(Z)과 연결하고 3x3 컨볼루션으로 128채널로 통과시키는 것.
• 디코더에서 위에서 아래로 특징을 점진적으로 융합하기 위해 요소별 곱을 계산한 뒤 해당 인코더 특징과 더하여 합치는 방식으로(D_i = up(MSA(D_{i+1})) * E_i + E_i) 처리하는 것.
• 다중 스테이지 예측을 BCE 및 IoU 손실로 감독하고, 스테이지 간 손실을 합산하여 엔드 투 엔드로 모델을 학습하는 것.

실험 결과

연구 질문

• RQ1 전경-배경 분리 주의가 COD에서 표준 자기 주의(self-attention)보다 캠플라주 객체의 분할을 개선할 수 있는가?
• RQ2 MSA를 사용한 다중 디코더 레벨에서의 점진적 정제가 더 높은 품질의 CAMO 마스크와 경계를 산출하는가?
• RQ3 개별 MSA 구성 요소(F-TA, B-TA, TA)가 COD 성능에 어떻게 기여하는가?
• RQ4 디코더 폭(C_d)의 트레이드오프는 무엇이며 정확도 대 계산 비용에 어떤 영향을 미치는가?

주요 결과

• CamoFormer가 NC4K, COD10K, CAMO COD 벤치마크에서 새로운 최첨단 결과를 달성했다.
• COD10K-test에서 가중 F-측정치가 0.786, MAE가 0.023으로 도달했으며, 두 번째 최상 FDNet의 0.731 및 0.030을 능가한다.
• MSA는 베이스라인 및 독립 TA에 비해 일관된 개선을 제공하며 세 가지 가지 분기(F-TA, B-TA, TA) 모두 성능 향상에 기여한다.
• MSA를 활용한 점진적 정제는 디코더의 후반 레벨에서 더 큰 성능 차이를 보이며, MSA와 상향식 융합 간의 강한 보완성을 나타낸다.
• ablation은 디코더 채널 수(C_d)를 증가시켜 128 채널에서 성능이 최적에 근접하도록 정확도와 계산을 균형 있게 개선한다는 것을 보여준다.
• 정성적 시각화는 이전 방법에 비해 경계가 더 선명하고 캠플라주 객체 분할이 더 완전해졌음을 보여준다.