[논문 리뷰] Depth Quality-Inspired Feature Manipulation for Efficient RGB-D Salient Object Detection

Wenbo Zhang, Ge-Peng Ji외 3명|arXiv (Cornell University)|2021. 07. 05.

Visual Attention and Saliency Detection참고 문헌 64인용 수 4

한 줄 요약

이 논문은 경량 RGB-D 색채도 객체 검출 모델인 DFM-Net을 제안한다. DFM-Net은 경계 정렬을 기반으로 깊이 특징을 동적으로 가중치를 적용하는 깊이 품질 유도형 특징 조작(DQFM)을 사용하여 교차 모odal 융합을 향상시키고, 전체적인 주의를 적용하여 강건성을 향상시킨다. DFM-Net은 모델 크기 8.5MB, CPU 기준 추론 시간 140ms로 최신 기준 정확도를 달성하며, 이는 이전 효율적인 모델 대비 2.2배 빠른 속도이다. 이는 맞춤형 깊이 백본과 이중 단계 디코더를 통합하여 효율성을 확보하였다.

ABSTRACT

RGB-D salient object detection (SOD) recently has attracted increasing research interest by benefiting conventional RGB SOD with extra depth information. However, existing RGB-D SOD models often fail to perform well in terms of both efficiency and accuracy, which hinders their potential applications on mobile devices and real-world problems. An underlying challenge is that the model accuracy usually degrades when the model is simplified to have few parameters. To tackle this dilemma and also inspired by the fact that depth quality is a key factor influencing the accuracy, we propose a novel depth quality-inspired feature manipulation (DQFM) process, which is efficient itself and can serve as a gating mechanism for filtering depth features to greatly boost the accuracy. DQFM resorts to the alignment of low-level RGB and depth features, as well as holistic attention of the depth stream to explicitly control and enhance cross-modal fusion. We embed DQFM to obtain an efficient light-weight model called DFM-Net, where we also design a tailored depth backbone and a two-stage decoder for further efficiency consideration. Extensive experimental results demonstrate that our DFM-Net achieves state-of-the-art accuracy when comparing to existing non-efficient models, and meanwhile runs at 140ms on CPU (2.2$ imes$ faster than the prior fastest efficient model) with only $\sim$8.5Mb model size (14.9% of the prior lightest). Our code will be available at https://github.com/zwbx/DFM-Net.

연구 동기 및 목표

• 모바일 배포를 고려할 때 효율성과 정확도 사이의 상충 관계를 해결하기 위해.
• 특히 저품질 또는 노이즈가 많은 깊이 맵에서 모델 정확도에 영향을 미치는 깊이 품질을 핵심 요소로 식별하기 위해.
• 깊이 품질에 기반해 깊이 특징 융합을 명시적으로 제어하는 메커니즘을 제안하여 강건성을 향상시키기 위해.
• 최소한의 파라미터와 빠른 추론 속도를 갖춘 경량이고 효율적인 아키텍처를 설계하기 위해.
• 성능을 훼손하지 않으면서도 계산 비용을 추가로 줄이기 위해 맞춤형 깊이 백본과 이중 단계 디코더를 통합하기 위해.

제안 방법

• 깊이 품질 유도형 특징 조작(DQFM)을 제안한다. 이는 경계 정렬(BA)을 사용해 깊이 품질을 평가하고, 깊이 특징에 적응형 가중치를 할당하는 게이팅 메커니즘이다.
• 깊이 품질 가중치(DQW)를 도입하여 RGB 특징과의 경계 정렬에 기반해 고품질 깊이 특징에 더 높은 주의를 동적으로 할당한다.
• 깊이별 전체 주의(DHA)를 구현하여 학습 가능한 주의 메커니즘을 사용해 고수준 깊이 특징을 재조정함으로써 색채도 영역을 강화한다.
• 깊이 데이터 처리에 최적화된 맞춤형 깊이 백본(TDB)을 설계하여, 기존 MobileNet-V2의 6.9MB에서 0.9MB로 모델 크기를 감소시켰다.
• 이중 단계 디코더를 활용해 점진적으로 예측을 정밀하게 보정함으로써 특징 표현을 향상시키면서도 효율성을 유지한다.
• DQW와 DHA 파라미터에 다변수 전략을 사용하여, 다양한 특징 수준에서 품질 가중치와 주의 맵의 계층적 적응을 가능하게 한다.

Figure 1. Average probability distributions (solid curves) of edge Dice coefficients computed from “Good quality”, “Bad quality”, and “Mismatch” subsets (10 times random sampling), as well as the probability distributions (dash curves) of the whole STERE and SIP datasets. The right images show three

실험 결과

연구 질문

• RQ1 깊이 품질이 RGB-D 색채도 객체 검출에서 교차 모달 융합을 향상시키기 위한 신호로 효과적으로 활용될 수 있는가?
• RQ2 경량 모델이 파라미터와 추론 시간을 크게 줄이면서도 높은 정확도를 유지할 수 있는가?
• RQ3 RGB와 깊이 특징 간의 경계 정렬이 깊이 품질과 검출 성능에 얼마나 관련이 있는가?
• RQ4 특화된 경량 깊이 백본이 SOD를 위한 깊이 특징 추출에서 기존 백본(MobileNet-V2 등)을 능가할 수 있는가?
• RQ5 점진적 정밀 조정 기능을 갖춘 이중 단계 디코더가 계산 비용을 증가시키지 않으면서도 검출 정확도를 향상시킬 수 있는가?

주요 결과

• DFM-Net은 표준 RGB-D SOD 벤치마크에서 경량 모델 중 최신 기준 정확도를 확보하며, 이전 효율적인 모델들을 능가한다.
• CPU 기준으로 140ms의 빠른 추론 속도를 기록하여 이전에 가장 빠른 효율적 모델 대비 2.2배 빠르게 작동한다.
• DFM-Net의 모델 크기는 단지 8.5MB이며, 이는 이전에 가장 가벼운 모델의 14.9%에 해당한다.
• 맞춤형 깊이 백본(TDB)은 모델 크기를 0.9MB로 줄여 MobileNet-V2 대비 87% 감소시켰으며, 정확도 향상에도 기여했다.
• 제거 실험 결과, DQW와 DHA 모두 필수적임을 확인하였다: DQW는 저품질 깊이에 대한 강건성을 향상시키고, DHA는 2x F_rec 연산을 최적화하여 특징 재조정을 강화한다.
• DQW와 DHA 파라미터에 대한 다변수 전략은 네트워크의 유연성을 증가시키며, 단일 변수 대비 더 뛰어난 성능을 달성한다.

Figure 2. Block diagram of the proposed DFM-Net . Best view in color.