[논문 리뷰] Hierarchical Dynamic Filtering Network for RGB-D Salient Object Detection

Youwei Pang, Lihe Zhang외 2명|arXiv (Cornell University)|2020. 07. 13.

Visual Attention and Saliency Detection참고 문헌 51인용 수 15

한 줄 요약

이 논문은 RGB-D 색채도 객체 검출을 위한 계층적 동적 필터링 네트워크(HDFNet)를 제안하며, 융합된 RGB-깊이 특징에서 다중 척도 필터를 적응적으로 생성하여 교차 모odal 특징 학습을 향상시키는 동적 패딩 피라미드 모듈을 도입한다. 이 방법은 여섯 가지 평가 지표를 기준으로 여덟 개의 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, VGG16 기반으로 52 FPS의 인fer 속도와 약 170 MB의 모델 크기를 확보한다.

ABSTRACT

The main purpose of RGB-D salient object detection (SOD) is how to better integrate and utilize cross-modal fusion information. In this paper, we explore these issues from a new perspective. We integrate the features of different modalities through densely connected structures and use their mixed features to generate dynamic filters with receptive fields of different sizes. In the end, we implement a kind of more flexible and efficient multi-scale cross-modal feature processing, i.e. dynamic dilated pyramid module. In order to make the predictions have sharper edges and consistent saliency regions, we design a hybrid enhanced loss function to further optimize the results. This loss function is also validated to be effective in the single-modal RGB SOD task. In terms of six metrics, the proposed method outperforms the existing twelve methods on eight challenging benchmark datasets. A large number of experiments verify the effectiveness of the proposed module and loss function. Our code, model and results are available at \url{https://github.com/lartpang/HDFNet}.

연구 동기 및 목표

• 혼잡하거나 저대비 환경에서 RGB와 깊이 특징 간의 효과적인 융합 문제를 해결한다.
• 일반화 능력을 저하시키고 조밀한 예측 작업에서 기울기 업데이트를 최적화하지 못하는 고정된 파rameter를 가진 컨볼루션 연산의 한계를 극복한다.
• 새로운 하이브리드 향상 손실 함수를 설계하여 경계의 날카움과 색채도 영역의 일관성을 향상시킨다.
• 융합된 특징에서 생성된 동적이고 영역 인식형 필터를 통해 영역에 따라 다층적 특징 처리를 유연하게 구현한다.
• 최소한의 계산 부담으로 높은 성능을 달성하여 표준 하드웨어에서 실시간 인fer를 지원한다.

제안 방법

• 혼합된 RGB-깊이 특징이 다양한 수용장역을 가진 동적 컨볼루션 커널을 생성하는 계층적 동적 필터링 메커니즘을 제안한다.
• 적응형 필터에 의해 유도되는 다중 척도 패딩 컨볼루션을 적용하는 동적 패딩 피라미드 모듈(DDPM)을 구현하여 특징 표현을 향상시킨다.
• 다양한 모odal과 스테이지 간의 특징을 밀집 연결을 통해 융합하여 특징 재사용과 기울기 흐름을 강화한다.
• 경계 근접 영역과 내부 색채도 영역 간의 일관성을 장려하는 하이브리드 향상 손실(HEL)을 설계하여 경계 정확도를 향상시킨다.
• 표준 손실과 HEL을 조합하여 학습하며, 이는 단일 모달(RGB) 및 다중 모달(RGB-D) 환경 모두에서 효과적임을 입증한다.
• 공간적 세부 정보를 유지하고 고해상도 출력을 지원하기 위해 스킵 연결을 갖춘 VGG16 기반 인코더-디코더 아키텍처를 채택한다.

실험 결과

연구 질문

• RQ1 RGB와 깊이 특징 간의 교차 모달 융합이 색채도 객체 검출에 있어 더 적응적이고 효과적으로 이루어질 수 있는가?
• RQ2 융합된 특징에서 생성된 동적 컨볼루션 필터가 다중 척도 특징 학습과 예측 정확도를 향상시킬 수 있는가?
• RQ3 경계 일관성과 색채도 영역의 무결성을 장려하는 하이브리드 향상 손실 함수는 추가적인 파라미터 없이도 더 날카운 예측을 가능하게 하는가?
• RQ4 제안된 방법이 최신 기술 수준의 성능를 달성하면서도 실시간 인fer 속도와 컴act 모델 크기를 유지할 수 있는가?
• RQ5 하이브리드 향상 손실 함수는 RGB-D 환경을 초월하여 특히 단일 모달 RGB 색채도 객체 검출에서도 효과적인가?

주요 결과

• 제안된 HDFNet은 여섯 가지 평가 지표인 $F_{max}$, $F_{ada}$, $F^{eta}_{ ext{weighted}}$, MAE, $S_{m}$, 및 $E_{m}$를 기준으로 여덟 개의 벤치마크 데이터셋에서 최고 성능을 기록한다.
• DUT-OMRON 데이터셋에서 HDFNet은 $F_{max}$ 0.926, $F_{ada}$ 0.892, $E_{m}$ 0.937을 기록하며 비교된 12개의 최신 기술 수준 방법들을 모두 압도한다.
• NVIDIA GTX 1080 Ti GPU에서 170 MB 내외의 모델 크기로 52 FPS의 실시간 인fer 속도를 확보한다.
• 제거 실험을 통해 하이브리드 향상 손실(HEL)이 경계의 날카움과 영역 일관성을 크게 향상시키며, MAE는 0.009 감소하고 $F_{max}$는 최대 0.015 향상됨을 확인한다.
• 동적 패딩 피라미드 모듈(DDPM)은 정적 또는 고정된 수용장역 기반 기준 모델 대비 $F_{max}$ 및 $E_{m}$에서 1.5–2.5% 향상 기여한다.
• HEL이 단일 모달 RGB SOD에서도 효과적임을 검증하여, RGB-D 환경을 초월한 일반화 능력을 입증하며, 여러 데이터셋에서 일관된 성능 향상을 보였다.