[논문 리뷰] Depth Confidence-aware Camouflaged Object Detection

Jing Zhang, Yunqiu Lv외 4명|arXiv (Cornell University)|2021. 06. 24.

interferon and immune responses인용 수 5

한 줄 요약

이 논문은 사전에 계산된 단안 심도 맵을 활용하여 검출 정확도를 향상시키는 심도 신뢰도 인식 기반 침투 객체 검출 네트워크를 제안한다. 저품질의 심도를 걸러내기 위해 심도 품질 평가 모듈을 도입함으로써 추론 중에 RGB 또는 RGB-D 브랜치를 선택적으로 사용함으로써, 여러 COD 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Camouflaged object detection (COD) aims to segment camouflaged objects hiding in the environment, which is challenging due to the similar appearance of camouflaged objects and their surroundings. Research in biology suggests that depth can provide useful object localization cues for camouflaged object discovery, as all the animals have 3D perception ability. However, the depth information has not been exploited for camouflaged object detection. To explore the contribution of depth for camouflage detection, we present a depth-guided camouflaged object detection network with pre-computed depth maps from existing monocular depth estimation methods. Due to the domain gap between the depth estimation dataset and our camouflaged object detection dataset, the generated depth may not be accurate enough to be directly used in our framework. We then introduce a depth quality assessment module to evaluate the quality of depth based on the model prediction from both RGB COD branch and RGB-D COD branch. During training, only high-quality depth is used to update the modal interaction module for multi-modal learning. During testing, our depth quality assessment module can effectively determine the contribution of depth and select the RGB branch or RGB-D branch for camouflage prediction. Extensive experiments on various camouflaged object detection datasets prove the effectiveness of our solution in exploring the depth information for camouflaged object detection. Our code and data is publicly available at: \url{https://github.com/JingZhang617/RGBD-COD}.

연구 동기 및 목표

• 주변 환경와 유사한 외관을 지닌 침투 객체를 탐지하는 데 도전하는 것.
• 침투 객체 검출에서 심도 정보가 국소화 신호로 활용될 잠재력을 탐색하는 것.
• 심도 추정 데이터셋과 침투 객체 검출 데이터셋 사이의 도메인 갭을 완화하는 것.
• 추론 중에 심도 품질에 따라 RGB 및 RGB-D 브랜치 간에 동적으로 선택하는 메커니즘을 개발하는 것.
• 고품질의 심도 예측만을 사용하여 상호작용 모듈을 업데이트함으로써 다중 모odal 학습을 향상시키는 것.

제안 방법

• 기존 단안 심도 추정 모델로부터 사전 계산된 심도 맵을 입력으로 사용한다.
• RGB 및 RGB-D 브랜치의 예측 기반으로 심도 신뢰도를 평가하는 심도 품질 평가 모듈을 도입한다.
• 학습 중에는 고품질 심도 맵만을 사용하여 다중 모달 특징 학습을 위한 모달 상호작용 모듈을 업데이트한다.
• 추론 중에는 심도 품질 평가 모듈이 최종 예측을 위해 RGB 또는 RGB-D 브랜치에 의존할지 결정한다.
• RGB 및 심도 입력을 위한 공유 백본과 모달 전용 헤드를 갖춘 이중 브랜치 네트워크 아키텍처를 구현한다.
• 심도 품질에 따라 가장 신뢰할 수 있는 모달을 적응적으로 선택하는 신뢰도 기반 융합 전략을 적용한다.

실험 결과

연구 질문

• RQ1 심도 추정의 도메인 갭에도 불구하고 심도 정보가 침투 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 노이즈가 많은 심도 맵을 사용하는 것을 방지하기 위해 심도 품질을 신뢰성 있게 평가할 수 있는가?
• RQ3 심도 품질이 변할 경우 RGB 및 심도 특징을 융합하는 최적의 전략은 무엇인가?
• RQ4 신뢰도 인식 기반 메커니즘이 RGB 및 RGB-D 추론 브랜치 간에 동적으로 선택함으로써 강건성을 향상시킬 수 있는가?
• RQ5 기존의 최신 기술 수준의 RGB 전용 및 RGB-D 방법과 비교해 본다면, 표준 COD 벤치마크에서 제안된 방법은 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 DUT-COD, CAMO, NC4K를 포함한 여러 침투 객체 검출 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 심도 품질 평가 모듈이 저품질 심도 맵을 효과적으로 걸러내어 모델의 강건성과 정확도를 향상시킨다.
• 신뢰도 기반의 브랜치 선택 전략이 다양한 테스트 시나리오에서 일관된 성능 향상을 이끈다.
• 제거 실험을 통해 학습 중에 고품질 심도만을 사용할 경우 특징 학습이 크게 향상됨을 확인할 수 있었다.
• 모델는 RGB 전용 및 RGB-D 기반 모델을 모두 능가하며, 품질이 적절히 평가된 심도의 가치를 입증한다.