[논문 리뷰] Promoting Saliency From Depth: Deep Unsupervised RGB-D Saliency Detection

Wei Ji, Jingjing Li외 4명|arXiv (Cornell University)|2022. 05. 15.

Visual Attention and Saliency Detection인용 수 16

한 줄 요약

이 논문은 픽셀 수준의 애너테이션을 필요로 하지 않고 깊이 분리된 사전 레이블 개선(Deep-Disentangled Saliency Update, DSU) 프레임워크를 사용하여 반복적으로 사전 레이블을 개선하고, 신뢰할 수 있는 사전 레이블을 재가중하는 주의 기반 훈련 전략을 결합한 딥 비지도 학습 RGB-D 색채도 검출 방법을 제안한다. 이 방법은 추가적인 추론 비용 없이 NLPR 벤치마크에서 베이스라인 대비 37% 향상된 성능을 달성한다.

ABSTRACT

Growing interests in RGB-D salient object detection (RGB-D SOD) have been witnessed in recent years, owing partly to the popularity of depth sensors and the rapid progress of deep learning techniques. Unfortunately, existing RGB-D SOD methods typically demand large quantity of training images being thoroughly annotated at pixel-level. The laborious and time-consuming manual annotation has become a real bottleneck in various practical scenarios. On the other hand, current unsupervised RGB-D SOD methods still heavily rely on handcrafted feature representations. This inspires us to propose in this paper a deep unsupervised RGB-D saliency detection approach, which requires no manual pixel-level annotation during training. It is realized by two key ingredients in our training pipeline. First, a depth-disentangled saliency update (DSU) framework is designed to automatically produce pseudo-labels with iterative follow-up refinements, which provides more trustworthy supervision signals for training the saliency network. Second, an attentive training strategy is introduced to tackle the issue of noisy pseudo-labels, by properly re-weighting to highlight the more reliable pseudo-labels. Extensive experiments demonstrate the superior efficiency and effectiveness of our approach in tackling the challenging unsupervised RGB-D SOD scenarios. Moreover, our approach can also be adapted to work in fully-supervised situation. Empirical studies show the incorporation of our approach gives rise to notably performance improvement in existing supervised RGB-D SOD models.

연구 동기 및 목표

• 지도 학습 기반 RGB-D 색채도 검출에서 고비용인 픽셀 수준의 애너테이션 문제를 해결한다.
• 기존 비지도 학습 방법이 수작업 특징에 의존하는 한계를 극복하기 위해, 레이블이 없는 데이터로부터 깊이 표현을 활용한다.
• 수동 애너테이션 없이도 RGB 및 깊이 입력만으로 효과적인 비지도 학습을 가능하게 한다.
• 색채도 유도 및 비색채도 유도 성분으로 깊이를 분리하여 노이즈를 줄이고 보다 강력한 지도 신호를 제공함으로써 사전 레이블 품질을 향상시킨다.
• 신뢰도가 높은 사전 레이블을 재가중하는 훈련 전략을 개발하여 비지도 학습에서 노이즈가 많은 레이블의 영향을 최소화한다.

제안 방법

• 특화된 네트워크를 사용하여 원시 깊이를 색채도 유도 깊이($D_{\text{Sal}}$)와 비색채도 유도 깊이($D_{\text{NonSal}}$)로 분해하는 깊이 분리된 사전 레이블 개선(Deep-Disentangled Saliency Update, DSU) 프레임워크를 도입한다.
• $D_{\text{Sal}}$를 사용해 사전 레이블에서 색채도 반응을 강조하고, $D_{\text{NonSal}}$를 사용해 배경 간섭을 억제하면서 사전 레이블 개선 과정을 수행한다.
• 임계값 설정, 정규화 및 CRF 후처리를 적용하여 객체 내 깊이 분산을 줄이고 사전 레이블을 매끄럽게 한다.
• 신뢰도가 높은 사전 레이블에 따라 학습 샘플을 재가중하는 주의 기반 훈련 전략(Attentive Training Strategy, ATS)을 구현하여 노이즈 영향을 줄인다.
• 개선된 사전 레이블을 사용하여 색채도 네트워크를 엔드 투 엔드로 훈련하며, DSU 및 ATS 구성 요소는 훈련 중에만 활성화된다.
• 추론 시에는 깊이 입력을 사용하지 않도록 하여 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 픽셀 수준의 애너테이션이 필요 없이 딥 비지도 학습 기반 RGB-D 색채도 검출 방법을 개발할 수 있는가?
• RQ2 비지도 학습에서 사전 레이블 품질을 향상시키기 위해 깊이 정보를 어떻게 효과적으로 활용할 수 있는가?
• RQ3 깊이 분리 아키텍처는 색채도 유도 및 비색채도 유도 깊이 신호를 분리함으로써 사전 레이블 신뢰도를 향상시킬 수 있는가?
• RQ4 주의 기반 훈련 전략은 노이즈 많은 사전 레이블로 인한 성능 저하를 어느 정도 완화할 수 있는가?
• RQ5 제안된 방법은 완전히 지도 학습 설정에서도 성능 향상에 기여할 수 있는가?

주요 결과

• 제안된 방법은 비지도 학습 기반 RGB-D SOD에서 NLPR 벤치마크에서 베이스라인 대비 37% 상대적 향상을 달성하여 강력한 효과를 입증한다.
• CRF 기반 깊이 스무딩을 통한 DSU 프레임워크는 NLPR에서 $F_{\beta}^{w}$를 0.006 향상시키고 $E_{\xi}$를 0.006 향상시켜 깊이 일관성 문제에 대한 강건성을 향상시킨다.
• 주의 기반 훈련 전략은 모호한 사전 레이블의 영향을 효과적으로 줄여 더 안정적이고 정확한 색채도 예측을 가능하게 한다.
• 기존의 지도 학습 모델에 통합했을 때도 성능 향상이 뚜렷하게 나타나, 일반화 능력이 뛰어나다.
• 제거 실험을 통해 깊이 분리와 주의 기반 재가중 모두 성능 향상에 필수적인 구성 요소임을 확인한다.
• 추론 시 깊이 입력을 배제함으로써 추론 효율성을 유지하여 추가적인 계산 비용 없이도 성능을 확보한다.