[논문 리뷰] High-resolution Iterative Feedback Network for Camouflaged Object Detection

Xiaobin Hu, Wang, Shuo외 6명|arXiv (Cornell University)|2022. 03. 22.

Visual Attention and Saliency Detection인용 수 13

한 줄 요약

이 논문은 다중 해상도 고해상도 사전 지식을 통해 저해상도 특징을 적응형 반복 피드백 메커니즘으로 정밀하게 개선하는 고해상도 반복 피드백 네트워크인 HitNet을 제안한다. 이는 네 가지 카무플라주드 오브젝트 디텍션 벤치마크에서 최신 기준 성능을 달성하며, 교차 도메인 데이터 증강을 통해 Fβ^w 점수 0.806과 MAE 4.2% 감소를 기록한다.

ABSTRACT

Spotting camouflaged objects that are visually assimilated into the background is tricky for both object detection algorithms and humans who are usually confused or cheated by the perfectly intrinsic similarities between the foreground objects and the background surroundings. To tackle this challenge, we aim to extract the high-resolution texture details to avoid the detail degradation that causes blurred vision in edges and boundaries. We introduce a novel HitNet to refine the low-resolution representations by high-resolution features in an iterative feedback manner, essentially a global loop-based connection among the multi-scale resolutions. In addition, an iterative feedback loss is proposed to impose more constraints on each feedback connection. Extensive experiments on four challenging datasets demonstrate that our \ourmodel~breaks the performance bottleneck and achieves significant improvements compared with 29 state-of-the-art methods. To address the data scarcity in camouflaged scenarios, we provide an application example by employing cross-domain learning to extract the features that can reflect the camouflaged object properties and embed the features into salient objects, thereby generating more camouflaged training samples from the diverse salient object datasets The code will be available at https://github.com/HUuxiaobin/HitNet.

연구 동기 및 목표

• 딥 네트워크에서의 다운샘플링으로 인한 카무플라주드 오브젝트 디텍션에서 세부 정보(예: 윤곽선과 질감)의 열화 문제를 해결하기 위해.
• 기존 방법들이 특징 추출 과정에서 고해상도 정보를 기각하는 한계를 극복하기 위해.
• 다중 스케일의 고해상도 특징을 활용해 저해상도 특징을 반복적으로 정밀화하는 메커니즘을 개발하기 위해.
• 구조적 세부 정보 유지와 경계 검출 향상을 통해 과도한 데이터셋에서의 성능 향상시키기 위해.
• 교차 도메인 학습을 통한 합성 데이터 생성 전략으로 카무플라주드 오브젝트 디텍션의 데이터 부족 문제를 완화하기 위해.

제안 방법

• 다단계 공간 감소와 다중 스케일 표현을 가능하게 하는 피라미드 비전 트랜스포머(PVT)를 백본으로 사용하여 특징 추출을 수행한다.
• 전역적이고 스케일 간 피드백을 통해 고해상도 특징을 이용해 저해상도 특징을 반복적으로 정밀화하는 다중 해상도 반복 정밀화(RIR) 모듈을 설계한다.
• 피드백 흐름에 제약 조건을 도입하여 특징 집합의 정확성과 안정성을 향상시키는 반복 특징 피드백(IFF) 메커니즘을 도입한다.
• 각 피드백 단계에서의 강화된 감독을 위해 반복 피드백 손실을 제안하여 특징 정밀화 정확도를 향상시킨다.
• 선택적 최소-최대 적대적 최적화를 통해 밝기 객체를 카무플라주드 객체로 변환하는 교차 도메인 학습(CDL) 전략을 개발한다. 이 과정에서 대조 지수를 활용해 저품질 변환 결과를 걸러낸다.
• 고카무플라주드 수준의 예제를 선별하기 위해 대조 지수 $ I_{sc} = \frac{1}{\text{Num}} \sum_{i} \|P_i - P_m\| $ 를 사용한다. 여기서 $ P_m $ 는 평균 강도이고 $ P_{\text{std}} $ 는 이상치를 제외한다.

실험 결과

연구 질문

• RQ1 고해상도와 저해상도 특징 간의 반복 피드백이 카무플라주드 오브젝트에서 세밀한 윤곽선과 질감의 탐지에 뚜렷한 향상을 이끌 수 있는가?
• RQ2 저해상도 특징에 고해상도 사전 지식을 통합할 경우, 분할에서 경계 정렬과 구조 일관성에 어떤 영향을 미치는가?
• RQ3 밝기 객체 데이터셋에서의 교차 도메인 학습을 통해 카무플라주드 오브젝트 디텍션 모델의 일반화 능력과 다양성은 어느 정도 향상될 수 있는가?
• RQ4 반복 피드백 메커니즘이 성능 향상에 기여하는 정도와 계산 비용 증가 사이의 균형은 어떻게 되는가? 특히 피드백 반복 횟수 증가 시에 어떤 영향을 미치는가?
• RQ5 대조 지수는 합성 카무플라주드 샘플의 품질을 효과적으로 식별하고 낮은 품질의 샘플을 걸러내는 데 유용한가?

주요 결과

• HitNet은 COD10k-Test 데이터셋에서 0.806의 가중 F-메이저를 달성하며, 29개의 최신 기준 기법들을 초월한다.
• 제안된 CDL 전략을 사용함으로써 $ S_{\alpha} $ 는 0.868(기준)에서 0.871로, $ E_{\phi} $ 는 0.932에서 0.935로 향상된다.
• 교차 도메인 학습(CDL) 방법을 통해 원시 밝기 객체 데이터로 학습할 경우 대비 MAE가 4.2% 감소한다.
• 원시 밝기 객체 데이터로만 학습할 경우 $ S_{\alpha} $ 는 0.868에서 0.844로, $ E_{\phi} $ 는 0.932에서 0.911로 감소하여, 적절한 증강 없이 학습할 경우 부정적 전이가 발생함을 시사한다.
• 반복 피드백 메커니즘은 4회 반복까지 성능 향상을 이끌지만, 이후에는 성능 향상이 멈추고 추론 시간만 증가함을 확인하였다.
• 복잡한 구조를 가진 나비와 같은 실패 케이스는 밀도 높은 세밀한 구조를 다룰 때 장거리 윤곽 모델링의 한계를 드러내며, 향후 개선 여지가 있음을 시사한다.