[논문 리뷰] RGB-D Salient Object Detection via 3D Convolutional Neural Networks

Qian Chen, Ze Liu외 4명|arXiv (Cornell University)|2021. 01. 25.

Visual Attention and Saliency Detection인용 수 4

한 줄 요약

이 논문은 RGB-D 색소 객체 검출을 위한 첫 번째 3D CNN 기반 모델인 RD3D를 제안한다. 이 모델은 인코더에서 RGB 및 깊이 특징의 조기 전복융합을 위해 팽창된 3D 컨볼루션을 활용하고, 깊은 융합을 위해 풍부한 역프로젝션 경로(RBPP)와 채널-모달리티 주의(CMA)를 갖춘 3D 디코더를 적용한다. RD3D는 여섯 개의 벤치마크 데이터셋에서 14개의 최신 기술(SOTA) 방법을 초월하여 우수한 정확도를 보이며, 점진적이고 종단 간 3D 다중모달 특징 통합을 통해 성능을 끌어올린다.

ABSTRACT

RGB-D salient object detection (SOD) recently has attracted increasing research interest and many deep learning methods based on encoder-decoder architectures have emerged. However, most existing RGB-D SOD models conduct feature fusion either in the single encoder or the decoder stage, which hardly guarantees sufficient cross-modal fusion ability. In this paper, we make the first attempt in addressing RGB-D SOD through 3D convolutional neural networks. The proposed model, named RD3D, aims at pre-fusion in the encoder stage and in-depth fusion in the decoder stage to effectively promote the full integration of RGB and depth streams. Specifically, RD3D first conducts pre-fusion across RGB and depth modalities through an inflated 3D encoder, and later provides in-depth feature fusion by designing a 3D decoder equipped with rich back-projection paths (RBPP) for leveraging the extensive aggregation ability of 3D convolutions. With such a progressive fusion strategy involving both the encoder and decoder, effective and thorough interaction between the two modalities can be exploited and boost the detection accuracy. Extensive experiments on six widely used benchmark datasets demonstrate that RD3D performs favorably against 14 state-of-the-art RGB-D SOD approaches in terms of four key evaluation metrics. Our code will be made publicly available: https://github.com/PPOLYpubki/RD3D.

연구 동기 및 목표

• 기존 RGB-D SOD 모델들이 인코더 또는 디코더에서만 특징을 융합하는 데 한계를 보이는 다중모달 융합 능력을 개선하기 위해.
• 3D 컨volutional 신경망이 색소 객체 검출에서 RGB 및 깊이 모달리티를 효과적으로 점진적으로 융합하는 잠재력을 탐색하기 위해.
• 인코더에서의 사전 융합과 디코더에서의 명시적이고 깊이 있는 융합을 모두 가능하게 하는 완전한 3D CNN 기반 프레임워크를 설계하기 위해.
• 3D 컨볼루션의 내재된 특징 집합 능력을 활용하여 복잡한 전용 융합 모듈이 필요 없도록 하기 위해.
• 풍부한 역프로젝션 경로(RBPP)와 채널-모달리티 주의(CMA)가 다중모달 특징 학습을 향상시키는 데 기여하는지 검증하기 위해.

제안 방법

• 모델는 깊이를 시간 차원으로 간주하여 RGB와 깊이 입력의 사전 융합를 수행하는 팽창된 3D ResNet 기반 인코더를 사용하여 조기 다중모달 상호작용을 가능하게 한다.
• 다양한 수준의 특징을 인코더에서 수집하여 공간적 및 모달리티 인식 표현 학습을 향상시키기 위해, 새로운 3D 디코더를 설계하였으며, 이는 풍부한 역프로젝션 경로(RBPP)를 포함한다.
• 채널과 모달리티별 중요도에 따라 특징 맵을 다이나믹하게 재조정하기 위해 디코더에 채널-모달리티 주의(CMA) 모듈을 통합한다.
• 진행적 융합 전략을 적용한다: 3D 인코더에서의 사전 융합과 3D 디코더에서의 명시적, 모달리티 인식 융합을 통해 종합적인 다중모달 통합을 보장한다.
• 특징 맵을 공간적 및 시간적(모달리티) 차원에서 처리하면서, 표준 손실 함수를 사용하여 종단 간(end-to-end)으로 모델을 훈련시킨다.
• 아키텍처는 완전히 3D이며, 인코더와 디코더 전반에 걸쳐 3D 컨볼루션을 적용하여 이전의 2D 기반 접근 방식과 구별된다.

실험 결과

연구 질문

• RQ1 3D 컨volutional 신경망은 인코더에서 RGB 및 깊이 특징의 사전 융합를 효과적으로 가능하게 할 수 있는가?
• RQ2 풍부한 역프로젝션 경로(RBPP)를 갖춘 3D 디코더는 표준 2D 또는 3D U-Net 디코더보다 특징 집합과 검출 정확도를 향상시키는가?
• RQ3 제안된 채널-모달리티 주의(CMA) 메커니즘은 표준 채널 주의보다 모달리티 인식 특징 학습을 어떻게 향상시키는가?
• RQ4 완전한 3D CNN 기반 프레임워크는 기존의 2D 기반 인코더-디코더 모델보다 RGB-D SOD에서 특히 다중모달 특징 융합 측면에서 우수한 성능을 보이는가?
• RQ5 전체 성능에 기여하는 요소로, 인코더에서의 사전 융합과 디코더에서의 융합 중 어느 쪽이 더 중요한가?

주요 결과

• RD3D는 여섯 개의 널리 사용되는 RGB-D SOD 벤치마크에서 최신 기술(SOTA) 성능을 달성하였으며, 네 가지 평가 지표에서 14개의 기존 SOTA 방법을 모두 능가한다.
• 제거 실험 결과, 추가 모듈 없이도 기존의 최신 기술인 DANet과 JL-DCF를 초월하는 3D ResNet 기반 기본 모델(Model-1)이 이미 뛰어난 성능을 보임을 확인하여, 3D 컨볼루션의 내재된 강력한 능력을 입증한다.
• 풍부한 역프로젝션 경로(RBPP)를 제거하면 일관되게 성능 저하가 발생함을 확인하여, 다수 수준의 모달리티 인식 특징을 효과적으로 활용함을 입증한다.
• 제안된 CMA 모듈을 표준 압축-확장 주의(.squeeze-excitation attention)로 대체하면 성능 저하가 발생함을 확인하여, 3D 환경에서 채널-모달리티 주의 메커니즘이 우수한 성능을 보임을 확인한다.
• RBPP와 CMA를 모두 포함한 전체 RD3D 모델이 최고의 성능을 기록하며, 제거 실험 결과 두 구성 요소를 병합하면 상당한 성능 향상이 이루어짐을 입증한다.
• 모델는 이중 스트림 네트워크와 유사한 추론 속도와 모델 크기를 유지하여, 3D 설계가 상당한 계산 오버헤드를 유발하지 않음을 시사한다.