[논문 리뷰] Cross-Modal Weighting Network for RGB-D Salient Object Detection

Gongyang Li, Zhi Liu외 3명|arXiv (Cornell University)|2020. 07. 09.

Visual Attention and Saliency Detection참고 문헌 44인용 수 7

한 줄 요약

이 논문은 RGB-D 색채도 객체 검출을 위한 새로운 프레임워크인 Cross-Modal Weighting Network(CMWNet)을 제안한다. 이는 Depth-to-RGB Weighting(DW)과 RGB-to-RGB Weighting(RW)를 사용하여 세 가지 전용 모듈—CMW-L, CMW-M, CMW-H—를 통해 교차 모달 및 교차 스케일 특징 상호작용을 향상시킨다. CMWNet은 일곱 개의 벤치마크에서 최신 기술(SOTA) 성능을 달성하며, NJU-Depth 데이터셋에서 평균 F-측정치 0.907을 기록한다.

ABSTRACT

Depth maps contain geometric clues for assisting Salient Object Detection (SOD). In this paper, we propose a novel Cross-Modal Weighting (CMW) strategy to encourage comprehensive interactions between RGB and depth channels for RGB-D SOD. Specifically, three RGB-depth interaction modules, named CMW-L, CMW-M and CMW-H, are developed to deal with respectively low-, middle- and high-level cross-modal information fusion. These modules use Depth-to-RGB Weighing (DW) and RGB-to-RGB Weighting (RW) to allow rich cross-modal and cross-scale interactions among feature layers generated by different network blocks. To effectively train the proposed Cross-Modal Weighting Network (CMWNet), we design a composite loss function that summarizes the errors between intermediate predictions and ground truth over different scales. With all these novel components working together, CMWNet effectively fuses information from RGB and depth channels, and meanwhile explores object localization and details across scales. Thorough evaluations demonstrate CMWNet consistently outperforms 15 state-of-the-art RGB-D SOD methods on seven popular benchmarks.

연구 동기 및 목표

• 기존의 RGB-D SOD 방법에서 제한된 교차 모달 및 교차 스케일 특징 상호작용 문제를 해결하기 위해.
• 깊이 맵의 보완적인 기하학적 피처와 RGB 피처를 활용하여 색채도 객체 검출 성능을 향상시키기 위해.
• 저수준, 중간수준, 고수준 표현 간의 특징 융합을 향상시키기 위해 다중 수준 인코더-디코더 아키텍처를 설계하기 위해.
• 제거 실험과 정량적 비교를 통해 깊이 유도 특징 향상의 효과를 검증하기 위해.

제안 방법

• RGB 및 깊이 입력에서 저수준, 중간수준, 고수준 특징을 캡처하기 위해 세 수준의 인코더-디코더 아키텍처를 제안한다.
• 교차 스케일 및 교차 모달 특징 향상을 위해 특별히 설계된 세 가지 교차 모달 가중치(CMW) 모듈—CMW-L, CMW-M, CMW-H—를 도입한다.
• 깊이 반응 맵을 사용해 RGB 특징을 향상시키기 위해 Depth-to-RGB Weighting(DW)을 활용하고, 자신의 반응 기반으로 RGB 특징을 개선하기 위해 RGB-to-RGB Weighting(RW)을 적용한다.
• DW 및 RW에서 전역 필터(GF)를 사용해 맥락 정보를 집계하고 특징 표현을 향상시킨다.
• 중간 예측에서의 다중 스케일 감독을 통합하여 훈련 안정성과 성능을 향상시키기 위해 복합 손실 함수를 사용한다.
• 디코더에서 깊은 스케일 감독을 적용하여 다중 단계에서 중간 예측을 제공하고 색채도 맵을 점진적으로 개선한다.

실험 결과

연구 질문

• RQ1 RGB 및 깊이 특징 간의 교차 모달 및 교차 스케일 상호작용을 효과적으로 모델링하여 색채도 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 깊이 유도 특징 향상(DW를 통한)과 RGB 자기 향상(RW를 통한)이 검출 정확도 향상에 기여하는 정도는 어떠한가?
• RQ3 인접한 CNN 블록 간의 교차 스케일 가중치와 비인접 또는 동일 스케일 가중치 간의 성능 및 특징 연속성은 어떻게 비교되는가?
• RQ4 디코더에서의 깊은 스케일 감독이 최종 색채도 예측 품질 향상에 얼마나 기여하는가?

주요 결과

• CMWNet은 일곱 개의 공개 RGB-D SOD 벤치마크에서 최신 기술 성능을 달성하며, 여섯 가지 평가 지표에서 15개의 SOTA 방법을 초월한다.
• 제거 실험 결과, CMW-L 및 CMW-M 제거 시 성능 저하가 심각하게 발생함(예: NJU2K에서 F-측정치 0.902 → 0.894)을 확인하여 이들의 세부 정보 향상 기여도를 입증한다.
• CMW-H 제거 시 뚜렷한 성능 저하 발생(예: SSD에서 F-측정치 0.871 → 0.845)을 확인하여 색채도 객체 국소화에 있어 핵심적인 역할을 함을 입증한다.
• 제안된 DW 및 RW 가중치 메커니즘은 연결(concatenation, w/o Wei)보다 효과적이며, 경계 선명도 향상 측면에서 DW가 RW보다 더 강력한 향상 효과를 보임.
• 인접 블록 간의 교차 스케일 가중치(Ours)는 비인접(C2S) 및 동일 스케일(w/o CS) 변형보다 성능이 뛰어나 특징 연속성 유지 측면에서 우월함을 입증한다.
• 깊은 스케일 감독(Multi-Intermediate Supervision)은 단일 최종 감독(w/o DS)에 비해 최종 성능 향상이著명하며, 개선을 위한 필수성 확인.