[논문 리뷰] Context-aware Cross-level Fusion Network for Camouflaged Object Detection

Yujia Sun, Geng Chen외 3명|arXiv (Cornell University)|2021. 05. 26.

Visual Attention and Saliency Detection참고 문헌 36인용 수 24

한 줄 요약

이 논문은 다중 수준 특징을 주의 유도형 교차 수준 융합 모듈(ACFM)을 통해 통합하고 이중 분지 전역 맥락 모듈(DGCM)을 통해 전역 맥락을 향상시켜, 캄ouflage된 객체 검출을 위한 맥락 인식 교차 수준 융합 네트워크인 C2F-Net을 제안한다. 이 모델은 세 가지 벤치마크 데이터셋에서 최신 기술(SOTA) 수준의 성능을 달성하였으며, Fβw 점수에서 이전 방법보다 최대 18.35% 향상되고, Eϕ에서 최대 8.71% 향상되었다.

ABSTRACT

Camouflaged object detection (COD) is a challenging task due to the low boundary contrast between the object and its surroundings. In addition, the appearance of camouflaged objects varies significantly, e.g., object size and shape, aggravating the difficulties of accurate COD. In this paper, we propose a novel Context-aware Cross-level Fusion Network (C2F-Net) to address the challenging COD task. Specifically, we propose an Attention-induced Cross-level Fusion Module (ACFM) to integrate the multi-level features with informative attention coefficients. The fused features are then fed to the proposed Dual-branch Global Context Module (DGCM), which yields multi-scale feature representations for exploiting rich global context information. In C2F-Net, the two modules are conducted on high-level features using a cascaded manner. Extensive experiments on three widely used benchmark datasets demonstrate that our C2F-Net is an effective COD model and outperforms state-of-the-art models remarkably. Our code is publicly available at: https://github.com/thograce/C2FNet.

연구 동기 및 목표

• 캄ouflage된 객체 검출(COD)에서 낮은 경계 대비와 변동성이 큰 외관 문제를 해결한다.
• 기존 방법들이 전역 맥락을 충분히 활용하지 못하고 효과적인 교차 수준 특징 융합을 수행하지 못하는 한계를 극복한다.
• 풍부한 전역 맥락과 다중 척도 특징 통합을 동시에 최적화하는 통합 프레임워크를 설계하여 COD 정확도를 향상시킨다.
• 다중 객체, 가림, 경계가 모호한 경우와 같은 복잡한 시나리오에서의 검출 성능을 향상시킨다.

제안 방법

• 다양한 특징 수준 간의 적응형 특징 융합을 위해 다중 척도 채널 주의(MSCA)를 사용하여 주의 계수를 계산하는 주의 유도형 교차 수준 융합 모듈(ACFM)을 제안한다.
• 융합된 특징을 두 개의 병렬 브랜치를 통해 처리하여 다중 척도 전역 맥락 표현을 추출하는 이중 분지 전역 맥락 모듈(DGCM)을 도입한다.
• ACFM 및 DGCM 내부에서 MSCA를 활용하여 다중 척도 맥락 기반으로 채널별 특징을 동적으로 가중함으로써 특징의 구분 능력을 향상시킨다.
• 최종 세그멘테이션 이전에 고수준 특징에 대해 ACFM과 DGCM을 계단식으로 적용하여 점진적으로 표현을 정밀하게 개선한다.
• 수신장역을 확장하고 특징 맵을 풍부하게 하기 위해 팽창된 컨볼루션(RFB 모듈)을 활용한 백본 네트워크(예: ResNet)를 사용한다.
• 특징 융합에 주의 조절과 다중 척도 맥락 모델링을 결합하여 저대비 및 비정상적인 형태를 가진 캄ouflage된 객체의 검출 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 캄ouflage된 객체 검출을 위한 구분 능력 있는 특징을 더 잘 포착하기 위해 교차 수준 특징 융합는 어떻게 향상시킬 수 있는가?
• RQ2 어느 정도 전역 맥락 정보를 통합함으로써 도전적인 COD 시나리오에서 검출 성능이 향상되는가?
• RQ3 주의 메커니즘이 저대비, 고변동성 검출 작업에서 특징 융합 및 표현 학습을 효과적으로 유도할 수 있는가?
• RQ4 다중 척도 맥락 모델링과 교차 수준 융합의 통합은 벤치마크 COD 데이터셋에서 성능에 어떤 영향을 미치는가?

주요 결과

• C2F-Net은 세 가지 벤치마크 데이터셋에서 ResNet50 기반 SINet 대비 Sα 점수 평균 4.54% 향상되었다.
• 최신 기술(SOTA)인 SINet 대비 평균 Eϕ 점수 8.71% 향상되고, Fβw 점수 평균 18.35% 향상되었다.
• 제거 실험 결과 ACFM과 DGCM 모두 필수적임을 확인하였으며, 모든 지표에서 완전한 모델이 제거된 변형보다 뛰어난 성능을 보였다.
• MSCA를 표준 컨볼루션 레이어로 대체하면 CAMO-Test에서 Fβw 점수 1.9% 감소하여 다중 척도 주의의 핵심적 역할을 입증하였다.
• 시각적 비교 결과 C2F-Net은 SOTA 모델 대비 더 완전하고 세밀한 캄ouflage된 객체를 검출하는 것으로 나타났으며, 특히 가림이나 다중 객체 시나리오에서 유리했다.
• COD10K의 다섯 가지 슈퍼클래스를 포함해 수영하는, 육상의, 그리고 비행하는 동물 등 다양한 캄ouflage된 객체 카테고리에 대해 잘 일반화됨을 검증하였다.