[논문 리뷰] CNN-based RGB-D Salient Object Detection: Learn, Select and Fuse

Hao Chen, Youfu Li|arXiv (Cornell University)|2019. 09. 20.

Visual Attention and Saliency Detection참고 문헌 54인용 수 7

한 줄 요약

이 논문은 계층적 상호모달 정규화, 잔차 기반 보완 선택자, 상향식 융합 네트워크를 통해 모odal별 표현 학습, 상보적 신호 선택, 이질적 모달 간 융합을 체계적으로 다루는 CNN 기반 RGB-D 주목적 객체 탐지 프레임워크를 제안한다. 이 방법은 제한된 레이블이 부여된 데이터로도 RGB 감독을 활용해 깊이 특징을 학습함으로써, 유사한 외관이나 복잡한 배경을 가진 도전적인 환경에서도 강력하고 균일한 주목적 예측 성능을 달성한다.

ABSTRACT

The goal of this work is to present a systematic solution for RGB-D salient object detection, which addresses the following three aspects with a unified framework: modal-specific representation learning, complementary cue selection and cross-modal complement fusion. To learn discriminative modal-specific features, we propose a hierarchical cross-modal distillation scheme, in which the well-learned source modality provides supervisory signals to facilitate the learning process for the new modality. To better extract the complementary cues, we formulate a residual function to incorporate complements from the paired modality adaptively. Furthermore, a top-down fusion structure is constructed for sufficient cross-modal interactions and cross-level transmissions. The experimental results demonstrate the effectiveness of the proposed cross-modal distillation scheme in zero-shot saliency detection and pre-training on a new modality, as well as the advantages in selecting and fusing cross-modal/cross-level complements.

연구 동기 및 목표

• 제한된 레이블이 부여된 깊이 데이터 문제를 해결하기 위해 효과적인 모달별 표현 학습을 가능하게 하기 위해.
• RGB와 깊이 모달 간의 상보적 특징을 적응적으로 선택하여 이질적 모달 간 융합을 향상시키기 위해.
• 공동 결론 도출을 위한 이질적 모달 및 이질적 수준의 특징을 충분히 융합하기 위해.
• 잘 훈련된 소스 모달에서 지식 전이를 통해 새로운 모달에 대해 피지컬 튜닝 없이도 제로샷 주목적 탐지 기능을 가능하게 하기 위해.
• 기존 이중 스트림 네트워크의 한계를 극복하기 위해 단일 수준 융합에 의존하고 보완 선택 기능이 없는 문제를 해결하기 위해.

제안 방법

• 레이블이 부여된 깊이 데이터가 필요 없이 잘 훈련된 RGB 네트워크가 깊이 특징 학습을 안내하는 계층적 상호모달 정규화 기법을 도입한다.
• RGB와 깊이 모달 간의 상보적 특징을 명시적으로 모델링하고 적응적으로 선택하기 위해 잔차 함수를 활용한다.
• 다중 특징 계층에서의 이질적 수준 및 이질적 모달 간 상호작용을 가능하게 하는 상향식 융합 구조를 설계한다.
• 깊이 맵을 3채널 표현으로 변환하기 위해 HHA 인코딩을 사용하여 기하학적 신호 활용도를 향상시킨다.
• 훈련 중 사이드 아웃풋이 진짜 주목적 마스크와 일치하도록 정규화 과정에서 L2 손실을 교차 엔트로피 손실로 대체한다.
• 다양한 수준과 모달의 특징을 조합하여 점진적으로 주목적 맵을 정밀화하는 다중 척도 융합 전략을 적용한다.

실험 결과

연구 질문

• RQ1 레이블이 부여된 깊이 데이터가 부족한 상황에서 상호모달 정규화 기법이 분류 가능한 깊이 특징을 효과적으로 학습할 수 있는가?
• RQ2 RGB와 깊이 모달 간의 상보적 신호를 어떻게 적응적으로 선택하여 주목적 탐지 성능을 향상시킬 수 있는가?
• RQ3 다양한 수준의 특징을 통합하는 상향식 융합 메커니즘이 더 풍부한 표현 학습과 높은 탐지 성능을 이끌어내는가?
• RQ4 제안된 방법이 피지컬 튜닝 없이도 새로운 모달에 대해 제로샷 주목적 탐지에 일반화 가능한가?
• RQ5 조기 융합 또는 후기 융합과 비교할 때 제안된 융합 전략이 공간적 세부 정보와 맥락 일관성을 얼마나 잘 유지하는가?

주요 결과

• 제안된 방법은 벤치마크 데이터셋에서 11개의 최신 RGB-D 주목적 객체 탐지 방법보다 뛰어난 성능을 보이며, F-측정, 평균 절대 오차, Fβ-스코어에서 뚜렷한 향상을 보였다.
• 계층적 상호모달 정규화 기법은 레이블이 부여된 깊이 애너테이션 없이도 RGB 모달에서 지식을 전이함으로써 깊이 데이터에 대해 효과적인 제로샷 주목적 탐지 기능을 가능하게 했다.
• 다양한 수준의 특징 상호작용을 포함하는 상향식 융합 구조는 더 풍부한 표현을 만들어내었으며, 단일 수준 융합 기반 모델 대비 F-측정에서 3.5% 향상된 것으로 확인되었다.
• 잔차 기반 보완 선택기는 정보성 있고 중복이 없는 특징에 집중함으로써 특징 융합을 향상시켜 더 균일하고 세밀한 주목적 맵을 생성했다.
• 유사한 외관, 비균일한 깊이, 또는 복잡한 혼잡한 환경 등 도전적인 시나리오에서도 모델은 높은 정확도와 일관성을 유지하며, RGB 전용 방법(DSS)보다 뛰어난 성능을 보였다.
• 표 4의 정량적 결과는 다중 수준 특징 전달이 성능 향상에 기여함을 확인했으며, 융합 과정에서 다중 수준 상호작용의 중요성을 입증했다.