[논문 리뷰] Point-aware Interaction and CNN-induced Refinement Network for RGB-D Salient Object Detection

Runmin Cong, Hongyu Liu외 5명|arXiv (Cornell University)|2023. 08. 17.

Visual Attention and Saliency Detection인용 수 6

한 줄 요약

이 논문은 RGB-D 색채도 객체 검출을 위한 CNN-기반 Transformer 아키텍처인 PICR-Net를 제안한다. 이는 향상된 특징 융합을 위한 포인트 인식형 교차 모odal 상호작용(CmPI)과 Transformer에 기인한 세부 정보 손실을 완화하기 위한 CNN 유도 보정(CNNR) 모듈을 통합한다. 이 방법은 다섯 개인 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 효과적인 전역 모델링과 국소적 세부 정보 복구를 통해 뛰어난 정확도와 경계 유지 능력을 입증한다.

ABSTRACT

By integrating complementary information from RGB image and depth map, the ability of salient object detection (SOD) for complex and challenging scenes can be improved. In recent years, the important role of Convolutional Neural Networks (CNNs) in feature extraction and cross-modality interaction has been fully explored, but it is still insufficient in modeling global long-range dependencies of self-modality and cross-modality. To this end, we introduce CNNs-assisted Transformer architecture and propose a novel RGB-D SOD network with Point-aware Interaction and CNN-induced Refinement (PICR-Net). On the one hand, considering the prior correlation between RGB modality and depth modality, an attention-triggered cross-modality point-aware interaction (CmPI) module is designed to explore the feature interaction of different modalities with positional constraints. On the other hand, in order to alleviate the block effect and detail destruction problems brought by the Transformer naturally, we design a CNN-induced refinement (CNNR) unit for content refinement and supplementation. Extensive experiments on five RGB-D SOD datasets show that the proposed network achieves competitive results in both quantitative and qualitative comparisons.

연구 동기 및 목표

• 기존의 RGB-D SOD 방법들이 장거리 의존성 모델링과 세밀한 세부 정보 유지 측면에서 겪는 한계를 해결하기 위해.
• RGB와 깊이 모달 간의 공간적 및 전역 색채도 사전 지식을 활용하여 교차 모달 특징 상호작용을 향상시키기 위해.
• Transformer의 자기주의 주의 메커니즘이 일반적으로 유도하는 블록 효과 및 세부 정보 열화 문제를 완화하기 위해.
• 플러그 가능한 보정 모듈을 통해 Transformer의 전역 모델링 능력과 CNN의 국소 인식 능력을 융합하기 위해.
• 새로운 아키텍처 설계를 통해 여러 RGB-D SOD 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• RGB 및 깊이 브랜치 간의 특징 상호작용을 향상시키기 위해 공간적 제약 조건과 전역 가이드 벡터를 활용하는 포인트 인식형 교차 모달 상호작용(CmPI) 모듈을 제안한다.
• CmPI 내에서 이중 단계 주의 메커니즘을 도입한다: 첫 번째로 전역-국소 가이드를 갖춘 모달 특화 자기주의 주의; 두 번째로 마스크 억제 기능을 갖춘 교차 모달 주의.
• 전역 평균 풀링에서 유도된 전역 가이드 벡터 $g_r$ 및 $g_d$ 를 사용하여 주의 계산에 사전 지식을 제공한다.
• 가벼운 컨볼루션을 적용하여 최종 색채도 맵을 보정하는 플러그 가능한 CNN 유도 보정(CNNR) 유닛을 설계한다. 이는 Transformer 처리 후 손실된 세부 정보를 복구한다.
• 전역 맥락 모델링을 위해 Transformer 기반 인코더-디코더 백본을 사용하며, CNNR 유닛은 최종 디코딩 단계에 적용되어 국소 구조를 유지한다.
• 창문 기반 주의 메커니즘을 적용하며, 적응 가능한 수신 영역을 갖춘다. 포인트 인식형(1x1) 상호작용이 더 큰 창문(3x3, 5x5)보다 효율성과 성능 면에서 뛰어나다는 게 입증되었다.

실험 결과

연구 질문

• RQ1 공간적 및 전역 색채도 사전 지식을 통합함으로써 포인트 인식형 교차 모달 상호작용 메커니즘이 RGB와 깊이 모달 간의 특징 융합을 향상시킬 수 있는가?
• RQ2 Transformer 디코더 이후에 CNN 기반 보정 모듈을 통합함으로써 자기주의 주의 연산 중 손실된 세밀한 세부 정보를 효과적으로 복구할 수 있는가?
• RQ3 제안된 CmPI 모듈은 표준 교차 주의 메커니즘과 비교해 정확도와 오류 탐지에 대한 강건성 측면에서 어떻게 다른가?
• RQ4 CNNR 유닛이 색채도 맵에서 블록 효과를 얼마나 줄이고 경계 정렬을 향상시키는가?
• RQ5 하이브리드 CNN-Transformer 아키텍처는 표준 RGB-D SOD 벤치마크에서 순수 CNN, 순수 Transformer, 기타 하이브리드 모델보다 뛰어난 성능을 보이는가?

주요 결과

• 전체 PICR-Net 모델은 다섯 개의 RGB-D SOD 벤치마크에서 최신 기술 수준의 성능을 달성했으며, NJU-Depth-2K에서 평균 F-측정치는 0.931, NLPR-Test에서는 0.928를 기록했다.
• 제거 실험에서 CmPI 모듈 전체를 제거한 경우(wo RM) 성능 저하가 심각하게 발생했으며, NJU-Depth-2K에서 MAE는 0.029에서 0.035로 증가했다.
• CmPI 내 이중 단계 주의 메커니즘이 핵심적이다. 두 번째 단계 주의만 제거한 경우(wo single-step) NJU-Depth-2K에서 F-측정치는 0.931에서 0.930으로 약간 감소했다.
• CmPI 내 마스크 제약 조건 $M_1$ 및 $M_2$ 는 필수적이다. 이들을 제거한 경우(F-measure 0.923) NJU-Depth-2K에서 성능 저하가 발생했다.
• CmPI 모듈을 $1\times1$ 컨볼루션으로 대체한 경우(id 15) 모든 지표에서 성능이 열 劣해졌으며, 이는 CmPI가 단순한 포인트와이즈 연산보다 더 효과적인 상호작용을 가능하게 한다는 것을 증명한다.
• 더 큰 주의 창문(Win_3, Win_5)을 사용하는 것은 성능 향상에 기여하지 않으며, 계산 비용만 증가시킨다. 이는 이 작업에 대해 포인트 인식형(1x1) 상호작용이 최적임을 시사한다.