[논문 리뷰] JL-DCF: Joint Learning and Densely-Cooperative Fusion Framework for RGB-D Salient Object Detection

Keren Fu, Deng-Ping Fan외 2명|arXiv (Cornell University)|2020. 04. 18.

Visual Attention and Saliency Detection참고 문헌 79인용 수 29

한 줄 요약

이 논문은 RGB-D 색채도 객체 검출을 위한 새로운 공동 학습 및 고밀도 협동 융합 프레임워크인 JL-DCF를 제안한다. 이는 공유된 시아모닉 네트워크를 활용해 RGB 및 깊이 입력에서 계층적 특징을 동시에 추출하고, 다중 모odal 간 상호보완성을 활용하기 위해 협동 융합 메커니즘을 적용한다. 이 방법은 여섯 개의 벤치마크 데이터셋에서 평균적으로 1.9% 향상된 S-measure 성능을 기록하며 최신 기술(SOTA) 수준을 달성한다.

ABSTRACT

This paper proposes a novel joint learning and densely-cooperative fusion (JL-DCF) architecture for RGB-D salient object detection. Existing models usually treat RGB and depth as independent information and design separate networks for feature extraction from each. Such schemes can easily be constrained by a limited amount of training data or over-reliance on an elaborately-designed training process. In contrast, our JL-DCF learns from both RGB and depth inputs through a Siamese network. To this end, we propose two effective components: joint learning (JL), and densely-cooperative fusion (DCF). The JL module provides robust saliency feature learning, while the latter is introduced for complementary feature discovery. Comprehensive experiments on four popular metrics show that the designed framework yields a robust RGB-D saliency detector with good generalization. As a result, JL-DCF significantly advances the top-1 D3Net model by an average of ~1.9% (S-measure) across six challenging datasets, showing that the proposed framework offers a potential solution for real-world applications and could provide more insight into the cross-modality complementarity task. The code will be available at https://github.com/kerenfu/JLDCF/.

연구 동기 및 목표

• 기존의 RGB-D 색채도 모델들이 RGB와 깊이를 별개의 모odal로 간주하고 개별 특징 추출 네트워크를 사용하는 데서 기인하는 한계를 해결하기 위해.
• 공유된 시아모닉 기반 구조를 통해 RGB와 깊이 입력을 공동으로 학습함으로써 특징 학습의 강건성과 다중 모달 상호보완성을 향상시키기 위해.
• 모달 특징 간의 고밀도이고 협동적인 상호작용을 가능하게 하는 효과적인 융합 전략을 개발하여 색채도 예측 성능을 향상시키기 위해.
• 제한된 고품질 깊이 데이터에도 불구하고 다양한 실제 RGB-D 데이터셋에서 뛰어난 일반화 능력과 성능을 입증하기 위해.
• 다중 모달 학습 분야의 발전을 위해 유연하고 일반화 가능한 프레임워크를 제공하기 위해.

제안 방법

• 공유 백본을 갖춘 시아모닉 네트워크를 활용해 RGB 및 깊이 입력에서 동시에 깊이 계층적 특징을 추출함으로써 공동 특징 학습을 구현한다.
• 공동 학습(JL) 모듈은 공유 가중치와 학습 중 다중 모달 일致성을 활용하여 강건한 특징 표현을 보장한다.
• 다중 수준에서 다중 모달 간 지속적인 이중 방향 특징 상호작용을 가능하게 하여 상호보완 정보 통합을 향상시키기 위해 고밀도 협동 융합(DCF) 모듈을 설계하였다.
• 학습 가능한 어텐션과 연결 연산을 사용하여 RGB 및 깊이 스트림의 특징을 동적으로 가중하고 융합한다.
• 색채도 맵 감독을 위해 이진 교차 엔트로피 손실과 딱지 손실을 조합한 다중 작업 손실을 사용하여 전체 네트워크를 엔드 투 엔드로 훈련시킬 수 있다.
• 표준 평가 지표인 S-measure, F-measure, E-measure, M-measure를 사용하여 여섯 개의 표준 RGB-D 데이터셋에서 아키텍처를 평가한다.

실험 결과

연구 질문

• RQ1 RGB와 깊이 간 모달 차이가 존재함에도 불구하고, 공유된 시아모닉 네트워크가 색채도 관련 특징을 효과적으로 학습할 수 있는가?
• RQ2 RGB와 깊이 입력에서 공동으로 특징을 학습할 경우, 개별 네트워크를 사용한 별도 학습보다 더 나은 일반화 능력과 성능을 달성할 수 있는가?
• RQ3 고밀도 협동 융합 전략이 조기 또는 후기 융합을 넘어서 다중 모달 상호보완성을 효과적으로 활용하여 색채도 검출 성능을 향상시킬 수 있는가?
• RQ4 다양하고 실제적인 RGB-D 데이터셋에서 제안된 JL-DCF 프레임워크는 최신 기술 모델과 비교해 어떻게 성능을 발휘하는가?
• RQ5 수렴 안정성과 최종 성능 측면에서 공동 학습과 별도 학습 간의 기여도는 어떠한가?

주요 결과

• JL-DCF는 여섯 개의 벤치마크 데이터셋에서 이전 최신 기술 모델인 D3Net 대비 평균적으로 S-measure에서 1.9% 향상된 성능을 기록한다.
• 공동 학습 전략은 훈련 수렴과 최종 성능을 크게 향상시키며, 40 에포크 후 별도 학습 대비 Sα에서 1.1% 향상되고 Fβmax에서 1.76% 향상된 성능을 기록한다.
• 고밀도 협동 융합 메커니즘은 RGB와 깊이 간의 상호보완적 특징을 효과적으로 포착하여 더 정확하고 강건한 색채도 맵을 생성한다.
• 고품질 깊이 맵을 제공하는 데이터셋(예: RGBD135 및 SIP)에서는 깊이 전용 모델이 RGB 전용 모델과 유사하거나 더 우수한 성능을 기록하며, 적절히 통합된 깊이 데이터의 유용성을 입증한다.
• 절단 실험 결과에 따르면 공동 학습 및 DCF 구성 요소 모두가 전체 성능 향상에 기여하며, 각각이 상당한 기여를 한다.
• 다양한 환경에서 잘 일반화되며 깊이 품질의 변동성에 대해 강건하여 실제 적용 가능성에서 뛰어난 성능을 보인다.