[논문 리뷰] Self-Supervised Representation Learning for RGB-D Salient Object Detection.

Xiaoqi Zhao, Youwei Pang외 3명|arXiv (Cornell University)|2021. 01. 29.

Visual Attention and Saliency Detection참고 문헌 62인용 수 4

한 줄 요약

이 논문은 두 가지 사전 과제—다중모달 오토인코더와 깊이 윤곽 추정—를 사용하여 레이블이 없는 RGB-D 데이터에서 사전 훈련하는 자기지도 학습 표현 학습 프레임워크를 제안한다. 이는 단지 6,392장의 레이블이 없는 이미지로도 ImageNet 사전 훈련 모델과 비교할 만한 성능을 달성한다.

ABSTRACT

Existing CNNs-Based RGB-D Salient Object Detection (SOD) networks are all required to be pre-trained on the ImageNet to learn the hierarchy features which can help to provide a good initialization. However, the collection and annotation of large-scale datasets are time-consuming and expensive. In this paper, we utilize Self-Supervised Representation Learning (SSL) to design two pretext tasks: the cross-modal auto-encoder and the depth-contour estimation. Our pretext tasks require only a few and unlabeled RGB-D datasets to perform pre-training, which makes the network capture rich semantic contexts and reduce the gap between two modalities, thereby providing an effective initialization for the downstream task. In addition, for the inherent problem of cross-modal fusion in RGB-D SOD, we propose a consistency-difference aggregation (CDA) module that splits a single feature fusion into multi-path fusion to achieve an adequate perception of consistent and differential information. The CDA module is general and suitable for both cross-modal and cross-level feature fusion. Extensive experiments on six benchmark RGB-D SOD datasets, our model pre-trained on the RGB-D dataset ($6,392$ without any annotations) can perform favorably against most state-of-the-art RGB-D methods pre-trained on ImageNet ($1,280,000$ with image-level annotations).

연구 동기 및 목표

• RGB-D 주목 객체 검출에서 대규모 레이블이 부여된 데이터셋을 사전 훈련하기 위한 높은 비용과 노고를 해결하기 위해.
• 레이블이 없는 RGB-D 데이터를 활용한 자기지도 학습을 통해 ImageNet 사전 훈련에 대한 의존도를 줄이기 위해.
• 사전 과제를 통해 다중모달 특징 정렬과 의미 이해를 향상시켜 RGB-D 융합의 품질을 개선하기 위해.
• RGB-D SOD에서 다중모달 융합의 본질적인 과제를 해결하기 위해 일반적인 목적의 융합 모듈을 설계하기 위해.
• 소규모 레이블이 없는 RGB-D 데이터셋에서 사전 훈련을 통해 최소한의 감독으로 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 공유된 잠재 표현에서 RGB 및 깊이 모달리티 특징을 재구성하는 다중모달 오토인코더 사전 과제를 설계하여 모달리티 정렬을 장려한다.
• RGB 특징에서 깊이 에지 맵을 예측하는 깊이 윤곽 추정 사전 과제를 도입하여 기하학적 및 구조적 이해를 향상시킨다.
• 일致성 및 차이 경로로 특징 융합을 분해하여 다중모달 및 다중레벨 특징 상호작용을 향상시키는 일치-차이 집약(CDA) 모듈을 제안한다.
• 6,392장의 레이블이 없는 RGB-D 이미지로 구성된 소규모 데이터셋에서 두 사전 과제를 사용해 네트워크를 엔드 투 엔드로 훈련하여 풍부한 계층적 표현을 학습한다.
• 다운스트림 RGB-D SOD 작업에서 경계 상자 또는 세그멘테이션 레이블만을 사용하여 사전 훈련된 모델을 미세조정한다.
• CDA 모듈을 다중모달 및 다중레벨 특징 융합에 모두 적용하여 모달리티와 특징 레벨 간의 공통 및 고유 정보를 효과적으로 인식할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 RGB-D 데이터에서 자기지도 사전 과제가 RGB-D 주목 객체 검출에서 ImageNet 사전 훈련을 효과적으로 대체할 수 있는가?
• RQ2 다중모달 오토인코더와 깊이 윤곽 추정 사전 과제가 RGB-D 데이터의 의미적 및 구조적 정보를 얼마나 잘 포착하는가?
• RQ3 일치-차이 집약(CDA) 모듈이 RGB-D SOD에서 다중모달 특징 융합에 얼마나 기여하는가?
• RQ4 단지 6,392장의 레이블이 없는 RGB-D 이미지에서 사전 훈련된 모델이 벤치마크 데이터셋에서 ImageNet 사전 훈련 모델과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 CDA 모듈은 다중모달 및 다중레벨 특징 융합과 같은 다양한 융합 시나리오에 얼마나 일반화되는가?

주요 결과

• 6,392장의 레이블이 없는 RGB-D 이미지에서 제안된 자기지도 사전 훈련이 ImageNet에서 1,280,000장의 이미지 수준 레이블을 사용해 사전 훈련된 최신 기술 수준의 방법과 비교할 만한 성능을 달성한다.
• 다중모달 오토인코더와 깊이 윤곽 추정 사전 과제가 특징 표현 품질 향상과 모달리티 정렬에 크게 기여한다.
• 일치-차이 집약(CDA) 모듈은 모달리티와 특징 레벨 간의 일치 및 차이 정보를 명시적으로 모델링하여 특징 융합을 향상시킨다.
• 사전 훈련 중에 어떤 이미지 수준의 레이블도 사용하지 않아도, 여섯 개의 벤치마크 데이터셋에서 대부분의 기존 RGB-D SOD 방법보다 우수하거나 동등한 성능을 기록한다.
• 제거 실험을 통해 두 사전 과제도 성능 향상에 기여하며, 특히 깊이 윤곽 추정 과제가 가장자리 및 윤곽 이해에 매우 효과적임을 확인했다.
• CDA 모듈은 다중모달 및 다중레벨 융합 모두에 일반화되어 있으며, 정확도와 강인성 향상에 일관된 성과를 보였다.