[논문 리뷰] Exploring Depth Contribution for Camouflaged Object Detection

Mochu Xiang, Jing Zhang외 4명|arXiv (Cornell University)|2021. 06. 24.

Image Enhancement Techniques인용 수 9

한 줄 요약

이 논문은 단안 심도 추정(MDE)를 통해 생성된 심도 맵을 사용하여, 처음으로 심도 유도 캄ouflage 객체 검출(COD) 프레임워크를 제안한다. 이는 MDE와 COD 데이터셋 간의 도메인 갭으로 인해 발생하는 노이지 심도 예측을 해결한다. 심도 맵 정제를 위한 보조 심도 추정 브랜치(ADE)와 RGB 및 심도 모odal의 기여도를 동적으로 가중하는 GAN 기반의 신뢰도 인식 손실을 도입하여, 생성된 심도에서 표준 RGB-D 융합 방법보다 성능을 크게 향상시킨다.

ABSTRACT

Camouflaged object detection (COD) aims to segment camouflaged objects hiding in the environment, which is challenging due to the similar appearance of camouflaged objects and their surroundings. Research in biology suggests depth can provide useful object localization cues for camouflaged object discovery. In this paper, we study the depth contribution for camouflaged object detection, where the depth maps are generated with existing monocular depth estimation (MDE) methods. Due to the domain gap between the MDE dataset and our COD dataset, the generated depth maps are not accurate enough to be directly used. We then introduce two solutions to avoid the noisy depth maps from dominating the training process. Firstly, we present an auxiliary depth estimation branch ("ADE"), aiming to regress the depth maps. We find that "ADE" is especially necessary for our "generated depth" scenario. Secondly, we introduce a multi-modal confidence-aware loss function via a generative adversarial network to weigh the contribution of depth for camouflaged object detection. Our extensive experiments on various camouflaged object detection datasets explain that the existing "sensor depth" based RGB-D segmentation techniques work poorly with "generated depth", and our proposed two solutions work cooperatively, achieving effective depth contribution exploration for camouflaged object detection.

연구 동기 및 목표

• 심도 맵이 생성된 심도 맵을 사용하여, MDE와 COD 데이터셋 간의 도메인 갭으로 인해 발생하는 노이지 심도 예측을 해결한다.
• 심도 맵이 생성된 심도 맵을 사용하여, MDE를 통해 생성된 심도 맵이 캄ouflage 객체 검출(COD) 성능을 향상시킬 수 있는지 조사한다.
• MDE에서 유도된 노이지이고 정확도가 떨어지는 심도 맵이 학습 중 모델 성능을 떨어뜨리는 문제를 해결한다.
• 노이지 예측에 영향을 받지 않고도 심도를 효과적으로 활용할 수 있는 강력한 다중 모odal 학습 전략을 개발한다.
• 일반화 성능 향상을 위한 심도 감독과 불확실성 인식 학습을 결합한 새로운 프레임워크를 제안한다.

제안 방법

• MDE에서 생성된 심도 맵을 지도로 사용하여 정제된 심도 맵을 추정하는 보조 심도 추정 브랜치(ADE)를 도입하여, '생성된 심도' 시나리오에서 심도 품질을 향상시킨다.
• 생성적 적대적 네트워크(GAN)를 사용하여 RGB 및 RGB-D 브랜치의 예측 신뢰도(불확실성)를 추정하고, 신뢰도 기반 손실 가중치를 가능하게 한다.
• 더 높은 신뢰도를 가진 예측에 더 높은 학습 가중치를 할당하는 다중 모달 신뢰도 인식 손실 함수를 설계하여, 노이지 심도 맵의 영향을 줄인다.
• 조기 융합, 크로스레벨 융합, 후기 융합의 세 가지 융합 전략을 구현하여, 심도 유무에 따른 성능을 비교함으로써 제안된 구성 요소의 효과를 검증한다.
• ADE 브랜치에서 COD 및 심도 회귀 작업을 공동 최적화하는 다중 작업 학습을 통해 모델을 엔드 투 엔드로 훈련시킨다.
• 불확실성 맵 $U_{\text{rgb}}$ 와 $U_{\text{rgbd}}$ 를 역신뢰도 지표로 사용하여, 학습 중 각 모달리티의 기여도를 동적으로 조정한다.

실험 결과

연구 질문

• RQ1 단안 심도 추정(MDE)을 통해 생성된 심도 맵이 도메인 이동이 존재함에도 불구하고 캄ouflage 객체 검출 성능을 효과적으로 향상시킬 수 있는가?
• RQ2 기존 센서 기반 심도 기반 다중 모달 학습 프레임워크가 실제 센서 심도가 아닌 생성된 심도 맵에 적용되었을 때 성능이 얼마나 떨어지는가?
• RQ3 보조 심도 추정 브랜치(ADE)가 생성된 심도 설정에서 심도 맵 품질과 후속 COD 성능을 얼마나 향상시키는가?
• RQ4 GAN 기반 불확실성 추정에 기반한 신뢰도 인식 손실 함수가 노이지 심도 예측의 부정적 영향을 효과적으로 줄일 수 있는가?
• RQ5 심도가 언제 COD 성능을 향상시키고, 언제 정확도가 떨어지는 심도 추정으로 인해 성능을 떨어뜨리는가?

주요 결과

• 기존 센서 기반 심도 기반 다중 모달 학습 프레임워크는 생성된 심도 맵에서 성능이 열등하며, 테스트한 모든 COD 데이터셋에서 RGB 단독 기반 모델보다 성능이 열등하다.
• 제안된 보조 심도 추정(ADE) 브랜치는 심도 맵 품질을 크게 향상시키며, 특히 '생성된 심도' 시나리오에서 매우 중요하다.
• GAN 기반의 신뢰도 인식 손실 함수는 불확실한 예측에 낮은 가중치를 할당하여 노이지 심도 예측의 영향을 효과적으로 줄인다.
• ADE와 신뢰도 인식 손실의 조합은 뛰어난 성능을 보이며, 모든 벤치마크 데이터셋에서 RGB-D 모델이 RGB 단독 모델을 능가한다.
• 심도 변화가 높거나 캄ouflage 객체가 지배적인 경우, 적절히 가중되지 않은 심도 정보는 탐지에 오류를 유도할 수 있으며, 이는 심도가 双면의 칼이라는 것을 확인한다.
• 정성적 결과는 생성된 심도 맵이 원본보다 캄ouflage 객체를 더 잘 강조할 경우 심도가 탐지 성능을 향상시키고, 그렇지 않은 경우 성능을 떨어뜨린다는 것을 보여준다.