[논문 리뷰] Cross-modality Discrepant Interaction Network for RGB-D Salient Object Detection

Chen Zhang, Runmin Cong외 5명|arXiv (Cornell University)|2021. 08. 04.

Visual Attention and Saliency Detection참고 문헌 45인용 수 5

한 줄 요약

이 논문은 RGB-D 색채도 객체 검출을 위한 크로스모달 디스크레팬트 인터랙션 네트워크(CDINet)를 제안한다. 이는 초기 레이어에서 RGB가 깊이 세부 정보를 향상시키는 데 사용되는 RGB 유도 세부 향상(RDE) 모듈과, 후기 레이어에서 깊이가 RGB 의미 정보를 향상시키는 데 사용되는 깊이 유도 의미 향상(DSE) 모듈을 통해 기능을 차별적으로 향상시키며, 다중 수준의 특징을 융합하기 위해 조밀한 디코딩 복원(DDR) 모듈을 도입한다. CDINet는 실시간 추론 속도 42 FPS를 기록하며 다섯 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The popularity and promotion of depth maps have brought new vigor and vitality into salient object detection (SOD), and a mass of RGB-D SOD algorithms have been proposed, mainly concentrating on how to better integrate cross-modality features from RGB image and depth map. For the cross-modality interaction in feature encoder, existing methods either indiscriminately treat RGB and depth modalities, or only habitually utilize depth cues as auxiliary information of the RGB branch. Different from them, we reconsider the status of two modalities and propose a novel Cross-modality Discrepant Interaction Network (CDINet) for RGB-D SOD, which differentially models the dependence of two modalities according to the feature representations of different layers. To this end, two components are designed to implement the effective cross-modality interaction: 1) the RGB-induced Detail Enhancement (RDE) module leverages RGB modality to enhance the details of the depth features in low-level encoder stage. 2) the Depth-induced Semantic Enhancement (DSE) module transfers the object positioning and internal consistency of depth features to the RGB branch in high-level encoder stage. Furthermore, we also design a Dense Decoding Reconstruction (DDR) structure, which constructs a semantic block by combining multi-level encoder features to upgrade the skip connection in the feature decoding. Extensive experiments on five benchmark datasets demonstrate that our network outperforms $15$ state-of-the-art methods both quantitatively and qualitatively. Our code is publicly available at: https://rmcong.github.io/proj_CDINet.html.

연구 동기 및 목표

• 기존의 RGB-D SOD 방법들이 모달 간 대칭적이거나 단방향적인 접근 방식을 취하는 데서 비롯되는 한계를 해결하고자, 더 세밀한 계층별 크로스모달 상호작용 전략을 탐구한다.
• RGB가 세부 정보를 위해, 깊이가 구조적 일관성을 위해 유용한 보완적 강점을 활용하여 기능 표현을 향상시키고자 한다.
• 모달 특화 지침을 통해 저수준 세부 정보와 고수준 의미 정보를 모두 향상시킬 수 있는 경량이면서도 효과적인 아키텍처를 설계하고자 한다.
• 다양한 벤치마크 데이터셋에서 뛰어난 정확도를 유지하면서도 실시간 추론을 달성하고자 한다.

제안 방법

• RGB 유도 세부 향상(RDE) 모듈은 초기 인코더 레이어에서 고해상도 RGB 기능을 통합하여 깊이 기능을 향상시켜 경계 및 질감 세부 정보를 개선한다.
• 깊이 유도 의미 향상(DSE) 모듈은 깊은 레이어에서 깊이 기반 객체 위치 및 내부 일관성을 RGB 브랜치로 전달하여 의미 표현을 정교화한다.
• 조밀한 디코딩 복원(DDR) 구조는 다중 수준의 인코더 기능을 의미 블록으로 통합하여 표준 스킵 커넥션을 대체함으로써 디코딩 단계에서의 기능 융합을 향상시킨다.
• 네트워크는 비대칭적이고 계층별로 특화된 크로스모달 상호작용을 갖춘 이중 스트림 백본을 사용하여, 다양한 수준의 기능 표현에 따라 모달 간 의존성을 모델링한다.
• RDE 및 DSE 모듈은 계층별로 선택적으로 적용되며, 초기 레이어에는 RDE, 후기 레이어에는 DSE를 적용함으로써 각 모달이 다른 추상화 수준에서 수행하는 역할을 고려한다.
• 전체 프레임워크는 색채도 예측을 위한 이중 손실(이진 교차 엔트로피 손실 및 딱지 손실)을 조합하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 비균일하고 계층별로 특화된 크로스모달 상호작용 전략이 대칭적이거나 단방향 상호작용보다 성능이 뛰어나게 되는가?
• RQ2 RGB와 깊이 모달은 네트워크의 다른 깊이에서 어떻게 다르게 활용되어야 기능 표현을 향상시킬 수 있는가?
• RQ3 디코딩 경로에서 표준 스킵 커넥션을 조밀한 기능 융합 메커니즘으로 대체했을 때의 영향은 무엇인가?
• RQ4 제안된 비대칭 상호작용 설계는 대칭적이거나 단방향 방법에 비해 더 낮은 계산 비용으로 더 높은 성능을 달성하는가?

주요 결과

• CDINet는 다섯 가지 벤치마크 데이터셋에서 15종의 최신 기술 수준 메서드를 모두 압도하여 모든 데이터셋에서 최고의 최대 F-측정값과 S-측정값을 기록했다.
• DSE 모듈을 제거했을 때 NLPR 데이터셋에서 최대 F-측정값이 1.1% 향상되고 DUT 데이터셋에서는 1.6% 향상되어, 의미 정교화 과정에서의 핵심적 역할을 확인했다.
• 표준 스킵 커넥션 대비 DDR 구조는 DUT 데이터셋에서 최대 F-측정값 0.8% 향상 및 MAE 9.6% 향상으로 성능 향상을 입증했다.
• 제안된 비대칭 상호작용 방식(CDINet)은 단방향(RSE-only) 및 双방향(대칭적 RSE 및 DSE) 변종보다 뛰어난 성능을 기록했으며, 파라미터 수가 적고 추론 속도가 더 빠르다.
• 모델는 42 FPS로 실행되어 실시간 추론을 구현하면서도 최신 기술 수준의 정확도를 유지하며, 속도와 성능 사이의 유리한 트레이드오프를 입증했다.
• 시각화 결과, DSE 모듈이 RGB 기능에서 객체 반응을 강화하고 배경 노이즈를 억제함으로써 효과적인 주의 및 기능 수준의 상호작용이 이루어지고 있음을 확인했다.