[논문 리뷰] Deep RGB-D Saliency Detection with Depth-Sensitive Attention and Automatic Multi-Modal Fusion

Peng Sun, Zhang Wenhu외 3명|arXiv (Cornell University)|2021. 03. 22.

Visual Attention and Saliency Detection참고 문헌 39인용 수 8

한 줄 요약

이 논문은 깊이 지오메트리 사전 지식과 다중 척도, 이종 특징 융합을 위한 맞춤형 검색 공간을 활용하여, 배경 혼잡을 줄이고 RGB 특징을 향상시키는 깊이 민감한 주의 메커니즘을 통합한 새로운 이중 스트림 프레임워크 DSA2F를 제안한다. 또한 작업 지정 신경망 아키텍처 탐색(NAS)을 통해 자동으로 최적의 다중 모odal 융합 아키텍처를 발견한다. 이 방법은 일곱 가지 벤치마크에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

RGB-D salient object detection (SOD) is usually formulated as a problem of classification or regression over two modalities, i.e., RGB and depth. Hence, effective RGBD feature modeling and multi-modal feature fusion both play a vital role in RGB-D SOD. In this paper, we propose a depth-sensitive RGB feature modeling scheme using the depth-wise geometric prior of salient objects. In principle, the feature modeling scheme is carried out in a depth-sensitive attention module, which leads to the RGB feature enhancement as well as the background distraction reduction by capturing the depth geometry prior. Moreover, to perform effective multi-modal feature fusion, we further present an automatic architecture search approach for RGB-D SOD, which does well in finding out a feasible architecture from our specially designed multi-modal multi-scale search space. Extensive experiments on seven standard benchmarks demonstrate the effectiveness of the proposed approach against the state-of-the-art.

연구 동기 및 목표

• RGB-D 색재성 객체 탐지에서 깊이 지오메트리 사전 지식을 효과적으로 활용하여 특징 표현을 향상시키고 배경 간섭을 줄이는 데 도전한다.
• RGB-D SOD에서 다중 모달, 다중 척도 특징 융합을 위한 작업 지정 신경망 아키텍처 탐색(NAS) 공간을 설계한다.
• 수작업으로 설계된 아키텍처를 초월하는 성능을 달성하기 위해 RGB 및 깊이 브랜치 간의 최적의 비대칭 융합 아키텍처를 자동으로 발견한다.
• 일곱 가지 표준 RGB-D 벤치마크에서 광범위한 실험을 통해 제안된 방법의 효과성을 입증한다.

제안 방법

• 깊이 민감한 주의 모듈(DSAM)은 원시 깊이 맵을 다중 깊이 간격 영역으로 분해하고, 깊이 지오메트리에 기반한 공간 주의를 적용하여 RGB 특징을 향상시켜 배경 간섭을 감소시킨다.
• 이 방법은 이종 RGB 및 깊이 특징을 효과적으로 모델링하기 위해 공간 및 채널 주의 연산을 통합한 새로운 다중 모달, 다중 척도 NAS 검색 공간을 도입한다.
• 디퍼런셜 아키텍처 탐색(DARTS 기반)을 사용하여 설계된 검색 공간에서 최적의 융합 아키텍처를 자동으로 탐색하며, 백본으로 VGG-19를 사용한다.
• DSAM에서 요소별 곱셈 연산을 융합 방식으로 사용하여 깊이 기반 기하학적 신호에 따라 RGB 특징을 가중하는 공간 주의 메커니즘으로 기능한다.
• 검색 공간은 네 가지 셀 유형(MM, MS, GA, SR)을 포함하며, 스킵 연결과 주의 메커니즘을 지원하여 탄력적이고 고용량의 아키텍처 탐색을 가능하게 한다.
• 최종 아키텍처는 다중 척도 감시를 통해 엔드 투 엔드로 훈련되며, 융합 모듈은 백본과 함께 공동 최적화된다.

실험 결과

연구 질문

• RQ1 색재성 객체 탐지에서 깊이 기반 기하학적 사전 지식을 효과적으로 활용하여 RGB 특징을 향상시키고 배경 간섭을 억제할 수 있는가?
• RQ2 RGB-D SOD를 위한 최적의 다중 모달, 다중 척도 융합 아키텍처를 자동으로 탐색할 수 있는 작업 지정 신경망 아키텍처 탐색 공간을 설계할 수 있는가?
• RQ3 제안된 NAS 기반 융합 아키텍처가 RGB-D SOD에서 수작업으로 설계된 인간 기반 융합 모듈을 초월하는가?
• RQ4 분해 과정에서 깊이 영역의 수가 깊이 민감한 주의 모듈의 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 깊이 민감한 주의 모듈(DSAM)은 DUT-RGBD에서 베이스라인 Fβ 점수를 5.9%p 향상시켰으며, 평균 오차(M)를 0.069에서 0.051로 감소시켰다.
• DSA2F 전체 프레임워크는 DUT-RGBD에서 Fβ 점수 0.926, 평균 오차 0.030을 기록하여 베이스라인 대비 Fβ에서 9.6% 향상된 최신 기술(SOTA) 성능을 달성했다.
• 최적의 깊이 분해는 세 개의 영역(T+1=3)을 사용하며, 깊이 간격을 잘 포착하면서 과적합을 방지하는 데 가장 적합한 균형을 이룬다.
• NAS 검색 공간에 주의 연산을 포함시켰을 때 DUT-RGBD에서 Fβ가 1.2% 향상되어 주의 메커니즘이 특징 정제에 핵심적인 역할을 한다는 것을 입증한다.
• 자동으로 탐색된 융합 아키텍처는 NLPR에서 Fβ 0.897, M 0.024를 기록하여 베이스라인 대비 Fβ에서 13.5% 향상된 성능을 보였다.
• 절단 실험 결과, 각 구성 요소인 DSAM, NAS 기반 융합, 전체 아키텍처가 일곱 가지 벤치마크 전반에서 성능 향상에 기여한다는 것이 확인되었다.