[논문 리뷰] BBS-Net: RGB-D Salient Object Detection with a Bifurcated Backbone Strategy Network

Fan Deng-Ping, Yingjie Zhai외 3명|arXiv (Cornell University)|2020. 01. 01.

Visual Attention and Saliency Detection참고 문헌 100인용 수 7

한 줄 요약

BBS-Net는 다중 수준 및 다중 모odal 특징 간 최적의 융합을 해결하기 위해 이중 기반 전략(BBS)을 사용하는 새로운 백본 무관형 실시간 RGB-D 색재성 객체 검출 네트워크를 제안한다. 이는 다중 수준 특징을 교사 및 학생 브랜치로 분할하고, 채널 및 공간 주의 메커니즘을 통해 RGB 및 깊이 모odal을 융합하는 깊이 강화 모듈(DEM)을 결합한다. 이 방법은 네트워크가 48 fps로 작동하면서도 4개의 평가 지표에 걸쳐 7개의 벤치마크에서 최신 기술(SOTA) 성능을 달성하여 18개의 SOTA 방법을 초월한다.

ABSTRACT

Multi-level feature fusion is a fundamental topic in computer vision for detecting, segmenting, and classifying objects at various scales. When multi-level features meet multi-modal cues, the optimal fusion problem becomes a hot potato. In this paper, we make the first attempt to leverage the inherent multi-modal and multi-level nature of RGB-D salient object detection to develop a novel cascaded refinement network. In particular, we 1) propose a bifurcated backbone strategy (BBS) to split the multi-level features into teacher and student features, and 2) utilize a depth-enhanced module (DEM) to excavate informative parts of depth cues from the channel and spatial views. This fuses RGB and depth modalities in a complementary way. Our simple yet efficient architecture, dubbed Bifurcated Backbone Strategy Network (BBS-Net), is backbone independent, runs in real-time (48 fps), and significantly outperforms 18 SOTAs on seven challenging datasets using four metrics.

연구 동기 및 목표

• RGB-D 색재성 객체 검출에서 다중 수준 및 다중 모달 특징 간 최적의 융합 문제를 해결하기 위해.
• 구조적 특징 분기 방식을 통해 특징 표현을 향상시키는 경량형, 효율적이고 백본 무관형 아키텍처를 설계하기 위해.
• 깊이 모달의 활용도를 향상시키기 위해 깊이 강화 모듈(DEM)을 통해 보완적인 공간적 및 채널 수준의 신호를 추출하기 위해.
• 다양하고 도전적인 데이터셋에서 성능을 희생시키지 않은 채 실시간 추론(48 fps)을 달성하기 위해.
• 4개의 평가 지표를 사용해 7개의 벤치마크 데이터셋에서 18개의 최신 기술 방법을 초월하는 성능을 달성하기 위해.

제안 방법

• 다중 수준 특징을 교사 및 학생 특징 스트림으로 분할하는 이중 기반 전략(BBS)을 도입하여 계단식 정밀 조정을 수행한다.
• 채널별 및 공간별 주의 메커니즘을 통해 깊이 특징을 처리하는 깊이 강화 모듈(DEM)을 설계한다.
• 다양한 수준에서 DEM 출력 결과를 RGB 특징과 융합하여 RGB 및 깊이 특징을 보완적으로 융합한다.
• 두 모달의 정밀화된 특징을 사용해 점진적으로 예측을 정밀 조정하는 계단식 정밀 조정 네트워크를 구성한다.
• 백본 독립성을 확보하기 위해 ResNet 또는 MobileNet과 같은 다양한 백본 아키텍처와 호환되는 네트워크를 설계한다.
• 추론 속도 최적화를 통해 표준 하드웨어에서 실시간 성능(48 fps)을 달성한다.

실험 결과

연구 질문

• RQ1 RGB-D 색재성 객체 검출에서 다중 수준 및 다중 모달 특징을 효과적으로 융합하여 검출 정확도를 향상시킬 수 있는 방법은 무엇인가?
• RQ2 다중 수준 특징을 교사 및 학생 스트림으로 분리함으로써 특징 정밀 조정 및 성능에 미치는 영향은 무엇인가?
• RQ3 원시 픽셀 수준 입력을 초월해 깊이 정보를 체계적으로 활용하여 색재성 예측 성능을 향상시킬 수 있는 방법은 무엇인가?
• RQ4 경량형, 백본 무관형 아키텍처가 실시간 추론 속도를 유지하면서도 최신 기술 성능을 달성할 수 있는가?
• RQ5 채널별 및 공간별 주의 메커니즘이 색재성 검출을 위한 깊이 특징 강화에 기여하는 정도는 어떠한가?

주요 결과

• BBS-Net는 7개의 도전적인 RGB-D 색재성 검출 데이터셋에서 최신 기술 성능을 달성하여 기존 18개의 SOTA 방법을 초월한다.
• 네트워크는 48 프레임 매초로 작동하여 실시간 추론 능력을 입증하며 실질적 배포에 적합하다.
• 이중 기반 전략은 다중 척도에서 효과적인 계단식 특징 정밀 조정을 가능하게 하여 특징 표현을 향상시킨다.
• 깊이 강화 모듈(DEM)은 채널 및 공간 차원에서 정보가 풍부한 신호를 추출함으로써 깊이 모달의 활용도를 크게 향상시킨다.
• 제안된 방법은 백본 무관형이므로 다양한 CNN 아키텍처와 통합되더라도 성능 저하 없이 활용 가능하다.
• 정량적 결과는 모든 7개의 데이터셋에서 4개의 평가 지표(예: 평균 F-측정, 평균 E-측정, S-측정, 평균 DSI)에서 일관된 향상을 보였다.