[논문 리뷰] Self-Supervised Pretraining for RGB-D Salient Object Detection

Xiaoqi Zhao, Youwei Pang외 3명|arXiv (Cornell University)|2021. 01. 29.

Visual Attention and Saliency Detection인용 수 8

한 줄 요약

이 논문은 두 가지 사전 과제—다중모달 자동에코 및 깊이 윤곽 추정—를 사용하여 레이블이 없는 RGB-D 데이터로부터 효과적인 특징 학습을 가능하게 하는 자기지도 학습 전훈 프레임워크를 제안한다. 이는 RGB-D 색조 객체 검출을 위한 것이다. 이 방법은 여섯 개의 벤치마크에서 최신 기술 수준의 성능을 달성하며, 인간의 레이블 비용을 최소화하면서 ImageNet 전훈 모델을 능가한다. 또한 교차모달 및 교차레벨 특징 융합을 향상시키기 위해 일반적인 일致-차이 융합 모듈을 도입한다.

ABSTRACT

Existing CNNs-Based RGB-D salient object detection (SOD) networks are all required to be pretrained on the ImageNet to learn the hierarchy features which helps provide a good initialization. However, the collection and annotation of large-scale datasets are time-consuming and expensive. In this paper, we utilize self-supervised representation learning (SSL) to design two pretext tasks: the cross-modal auto-encoder and the depth-contour estimation. Our pretext tasks require only a few and unlabeled RGB-D datasets to perform pretraining, which makes the network capture rich semantic contexts and reduce the gap between two modalities, thereby providing an effective initialization for the downstream task. In addition, for the inherent problem of cross-modal fusion in RGB-D SOD, we propose a consistency-difference aggregation (CDA) module that splits a single feature fusion into multi-path fusion to achieve an adequate perception of consistent and differential information. The CDA module is general and suitable for cross-modal and cross-level feature fusion. Extensive experiments on six benchmark datasets show that our self-supervised pretrained model performs favorably against most state-of-the-art methods pretrained on ImageNet. The source code will be publicly available at extcolor{red}{\url{https://github.com/Xiaoqi-Zhao-DLUT/SSLSOD}}.

연구 동기 및 목표

• 이미지넷 스타일의 전훈에 대한 높은 비용 문제를 해결하기 위해, 인간의 레이블이 없는 RGB-D 데이터만을 사용하여 RGB-D 색조 객체 검출을 위한 자기지도 학습 전훈을 가능하게 한다.
• RGB와 깊이 특징 간의 모odal 갭을 줄이기 위해, 교차모달 표현 학습을 장려하는 사전 과제를 설계한다.
• 일반적인 일치-차이 융합(CDA) 모듈을 통해 RGB-D SOD에서 교차모달 및 교차레벨 특징 융합을 향상시킨다.
• 이미지넷 전훈에 의존하지 않는 새로운 RGB-D SOD 기준을 수립하여 더 효율적이고 확장 가능한 모델 초기화를 가능하게 한다.

제안 방법

• RGB 이미지를 깊이 맵에서, 그리고 그 반대로 재구성하는 다중모달 자동에코 사전 과제를 설계하여 의미적 및 구조적 표현의 공동 학습을 촉진한다.
• 깊이 데이터로부터 날카운 물체 경계와 공간적 관계를 학습하도록 깊이 윤곽 추정 사전 과제를 도입한다.
• 인간이 레이블을 붙이지 않은 대규모 약간의 레이블이 있는 RGB-D 데이터셋에서 두 사전 과제를 함께 사용하여 인코더를 훈련한다.
• 특징 융합을 일치 경로와 차이 경로로 분할하여 보완 정보 통합을 향상시키는 일치-차이 융합(CDA) 모듈을 제안한다.
• 자기지도 학습 전훈된 인코더를 하류의 RGB-D SOD 네트워크에 강력한 초기화로 적용하여 이미지넷 전훈을 대체한다.
• 표준 평가 지표를 사용하여 여섯 개의 벤치마크 데이터셋에서 성능을 평가하고, 이미지넷 전훈된 최신 기술 수준의 모델과 비교한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 데이터만을 사용하여 인간의 레이블이 없는 데이터로 이미지넷 전훈을 효과적으로 대체할 수 있는가?
• RQ2 다중모달 자동에코와 깊이 윤곽 추정 과제는 RGB-D SOD에서 강력하고 모달에 맞춘 특징 학습에 어떻게 기여하는가?
• RQ3 자기지도 학습 전훈 기법이 RGB와 깊이 특징 간의 모달 갭을 어느 정도 줄일 수 있는가?
• RQ4 일치-차이 융합(CDA) 모듈은 교차모달 및 교차레벨 특징 융합을 향상시키는 데 얼마나 효과적인가?
• RQ5 제안된 자기지도 학습 전훈 방법은 다양한 백본 아키텍처와 하류 SOD 모델에 대해 일반화 가능한가?

주요 결과

• 제안된 자기지도 학습 전훈 기법은 벤치마크 데이터셋에서 무작위 초기화 대비 가중 F-측정치에서 7.95%의 상대적 향상과 평균 절대 오차(MAE)에서 27.42%의 감소를 달성한다.
• ~6,000장의 레이블이 없는 RGB-D 이미지만을 사용하여 전훈한 결과, 평균 지표(Ave-Metric)에서 이미지넷 전훈 모델을 능가하여 강력한 일반화 능력을 입증한다.
• CDA 모듈은 여러 데이터셋에서 평균적으로 F-측정치에서 2.5% 향상되고 MAE에서 1.8% 향상되어 교차모달 및 교차레벨 융합에서의 효과성을 확인한다.
• 두 사전 과제인 다중모달 자동에코와 깊이 윤곽 추정은 함께 F-측정치에서 7.95% 향상시키며 표현 학습에서의 상호보완적 효과를 보여준다.
• 최고 성능을 내는 SOD 모델에 적용했을 때, 자기지도 학습 가중치는 항상 무작위 초기화보다 성능 향상을 보이며 일반화 능력을 입증한다.
• 전훈 데이터 크기가 증가할수록 성능이 점진적으로 향상되며, 더 큰 데이터셋을 사용할 경우 더 큰 성능 향상 가능성을 보여주어 강력한 확장성과 잠재력을 보인다.