[논문 리뷰] Depth-Guided Camouflaged Object Detection.

Jing Zhang, Yunqiu Lv외 4명|arXiv (Cornell University)|2021. 06. 24.

Visual Attention and Saliency Detection참고 문헌 73인용 수 6

한 줄 요약

이 논문은 사전에 계산된 단안 심도 맵을 활용하여 탐지 정확도를 향상시키는 심도 유도 캄플라주드 오브젝트 탐지 네트워크를 제안한다. 저품질의 심도를 걸러내기 위해 심도 품질 평가 모듈을 도입함으로써 추론 중에 RGB 또는 RGB-D 브랜치를 선택적으로 사용함으로써, 여러 COD 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Camouflaged object detection (COD) aims to segment camouflaged objects hiding in the environment, which is challenging due to the similar appearance of camouflaged objects and their surroundings. Research in biology suggests that depth can provide useful object localization cues for camouflaged object discovery, as all the animals have 3D perception ability. However, the depth information has not been exploited for camouflaged object detection. To explore the contribution of depth for camouflage detection, we present a depth-guided camouflaged object detection network with pre-computed depth maps from existing monocular depth estimation methods. Due to the domain gap between the depth estimation dataset and our camouflaged object detection dataset, the generated depth may not be accurate enough to be directly used in our framework. We then introduce a depth quality assessment module to evaluate the quality of depth based on the model prediction from both RGB COD branch and RGB-D COD branch. During training, only high-quality depth is used to update the modal interaction module for multi-modal learning. During testing, our depth quality assessment module can effectively determine the contribution of depth and select the RGB branch or RGB-D branch for camouflage prediction. Extensive experiments on various camouflaged object detection datasets prove the effectiveness of our solution in exploring the depth information for camouflaged object detection. Our code and data is publicly available at: \url{this https URL}.

연구 동기 및 목표

• 유사한 외관으로 인해 주변 환경와 완벽하게 융합되는 오브젝트로 인해 발생하는 캄플라주드 오브젝트 탐지(COD) 문제에 대응한다.
• 기본적인 3차원 인식과 유사한 생물학적 3차원 인식을 영감으로 삼아, 기존 COD 방법에서 다소 무시되던 심도 정보를 국소화 신호로 활용할 잠재력을 탐색한다.
• 심도 추정 데이터셋과 COD 데이터셋 사이의 도메인 갭을 극복하여, 직접 적용했을 때 정확도가 떨어지는 심도 예측 문제를 해결한다.
• 추론 중에 심도 신뢰도에 따라 RGB 또는 RGB-D 브랜치를 동적으로 선택할 수 있도록 심도 품질 평가 모듈을 개발한다.
• 심도 품질이 높을 경우에만 RGB와 심도 모odalities를 융합하여 강건하고 정확한 캄플라주드 오브젝트 탐지 성능을 달성한다.

제안 방법

• 기존 단안 심도 추정 모델에서 사전에 계산된 심도 맵을 COD 프레임워크의 입력으로 사용한다.
• RGB 및 RGB-D 브랜치의 예측 결과를 기반으로 심도 신뢰도를 평가하는 심도 품질 평가 모듈을 도입한다.
• 학습 중에는 고품질 심도를 가진 샘플들만 사용하여 다중 모달리티 특징 학습을 위한 상호작용 모듈을 업데이트한다.
• 추론 중에는 심도 품질 평가 모듈이 최종 예측을 위해 RGB 브랜치 또는 RGB-D 브랜치 중 어느 것을 사용할지 결정한다.
• 공통 백본과 RGB 및 RGB-D 입력을 위한 모달리티 전용 헤드를 가진 이중 브랜치 네트워크 아키텍처를 구현한다.
• 품질 점수에 기반하여 RGB 및 심도 브랜치의 특징을 적응적으로 융합하는 학습 가능한 융합 메커니즘을 적용한다.

실험 결과

연구 질문

• RQ1 단안 심도 추정에서 유도된 심도 정보가 캄플라주드 오브젝트 탐지 성능을 향상시킬 수 있는가?
• RQ2 심도 추정 데이터셋과 캄플라주드 오브젝트 탐지 데이터셋 간의 도메인 갭을 효과적으로 다룰 수 있는가?
• RQ3 심도 품질이 샘플 간으로 변할 때 RGB와 심도 특징을 융합하는 최적의 전략은 무엇인가?
• RQ4 학습된 심도 품질 평가 모듈이 추론 시 가장 신뢰할 수 있는 모달리티를 선택하여 탐지의 강건성을 향상시킬 수 있는가?
• RQ5 고정된 융합 또는 RGB 전용 기반 모델 대비 심도를 선택적으로 사용하는 것이 성능 향상에 기여하는가?

주요 결과

• 제안된 방법은 DUT-COD, CAMO, NC4K를 포함한 여러 캄플라주드 오브젝트 탐지 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 심도 품질 평가 모듈은 학습 중 저품질 심도 예측을 걸러내어 탐지 정확도를 크게 향상시킨다.
• 평균적으로 심도 품질이 높을 경우 RGB-D 브랜치가 RGB 전용 브랜치를 능가함을 확인하여 심도 유도의 가치를 입증한다.
• 전체 벤치마크 데이터셋에서 일관된 성능 향상을 기록하였으며, 특히 매우 캄플라주드된 샘플에서 두드러진 성능 향상이 관찰된다.
• 제거 실험 결과, 심도 맵이 노이즈가 많거나 정확도가 떨어지는 상황에서도 심도 품질 평가 모듈이 성능 유지에 필수적임을 확인한다.
• 다양한 환경와 오브젝트 유형에 걸쳐 잘 일반화되며, 심도 추정의 도메인 이탈에 대해서도 강건함을 보여준다.