[논문 리뷰] P4Contrast: Contrastive Learning with Pairs of Point-Pixel Pairs for RGB-D Scene Understanding

Yunze Liu, Yi Li외 4명|arXiv (Cornell University)|2020. 12. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 59인용 수 34

한 줄 요약

P4Contrast는 RGB와 기하를 융합하기 위한 포인트-픽셀 쌍 대조 pretraining 태스크를 도입하여 RGB-D 장면 이해를 향상시키고, ScanNet, SUN RGB-D, 3RScan 전반에서 의미론적 분할 및 3D 물체 탐지에서 향상된 성능을 제공합니다.

ABSTRACT

Self-supervised representation learning is a critical problem in computer vision, as it provides a way to pretrain feature extractors on large unlabeled datasets that can be used as an initialization for more efficient and effective training on downstream tasks. A promising approach is to use contrastive learning to learn a latent space where features are close for similar data samples and far apart for dissimilar ones. This approach has demonstrated tremendous success for pretraining both image and point cloud feature extractors, but it has been barely investigated for multi-modal RGB-D scans, especially with the goal of facilitating high-level scene understanding. To solve this problem, we propose contrasting "pairs of point-pixel pairs", where positives include pairs of RGB-D points in correspondence, and negatives include pairs where one of the two modalities has been disturbed and/or the two RGB-D points are not in correspondence. This provides extra flexibility in making hard negatives and helps networks to learn features from both modalities, not just the more discriminating one of the two. Experiments show that this proposed approach yields better performance on three large-scale RGB-D scene understanding benchmarks (ScanNet, SUN RGB-D, and 3RScan) than previous pretraining approaches.

연구 동기 및 목표

• 3D 장면 이해에 적합한 밀집한 RGB-D 표현을 위한 자기지도 학습의 동기를 부여한다.
• RGB와 기하를 융합하기 위해 포인트-픽셀 쌍의 쌍을 사용하는 새로운 프리트레이닝 태스크를 제안한다.
• 이 방법이 여러 RGB-D 벤치마크에서 최첨단 성능 향상을 달성함을 보인다.

제안 방법

• 포인트-픽셀 쌍을 동기화된 RGB 및 깊이 관측에서 추출된 밀집 RGB-D 토큰으로 정의한다.
• 각 장면의 두 개의 뷰를 만들고 앵커/양성/음의 포인트-픽셀 쌍을 구성하며, RGB-기하 학습을 강제하기 위해 교란된 쌍 음수를 포함한다.
• PairInfoNCE 손실을 사용하여 앵커–양성 쌍을 당기고 앵커–음의 쌍을 멀리 떨어지게 한다.
• 융합된 RGB-D 표현을 위한 SR-UNet(3D)과 FuseNet(2D)을 결합한 2D-3D 컨텍스트 백본을 사용한다.
• 학습 난이도 균형을 맞추기 위해 부분적으로 교란된 음수에 대한 점진적 난이도 스케줄링을 적용한다.
• RGB-D 데이터 증강으로 학습하며, 3D용 포인트 지터링과 RGB용 가우시안 노이즈를 포함한다.

실험 결과

연구 질문

• RQ1 포인트-픽셀 쌍의 대조적 목표가 단일 모달리티 또는 단순 교차 모달 대조보다 더 나은 RGB-D 융합을 유도하는가?
• RQ2 2D-3D 컨텍스트 백본이 3D 전용 또는 2D 전용베이스라인에 비해 RGB-D 특징 학습을 개선하는가?
• RQ3 부분적으로 음수인 교란된 포인트-픽셀 쌍이 함께 정보가 풍부한 RGB-D 특징 학습을 개선하는가?

주요 결과

• P4Contrast는 세 가지 작업에서 다운스트림 성능을 향상시킨다: ScanNetV2 및 3RScan의 의미론적 분할, SUN RGB-D의 3D 물체 탐지.
• ScanNetV2 의미론적 분할에서 P4Contrast(2D-3D 컨텍스트)는 75.0 mIoU(K3)로 72.1 베이스라인(K5) 및 일부 PointContrast 변형에서 73.8과 같은 값을 기록한다.
• 3RScan 의미론적 분할에서 P4Contrast(2D-3D 컨텍스트)는 41.7 mIoU로 38.8(PointContrast) 및 37.3(학습에서 처음 시작)에서 상승한다.
• SUN RGB-D 3D 물체 탐지에서 P4Contrast는 0.25에서 63.5 mAP를 달성하여 VoteNet, PointContrast, ImVoteNet 베이스라인을 능가한다.
• 제한된 데이터로 미세 조정할 때도 눈에 띄는 향상을 보이며, 예를 들어 ScanNet 학습 데이터의 10% 만으로 4.5 mIoU 향상을 달성한다.
• 2D-3D 컨텍스트 백본이 RGB-D 융합을 공동으로 수행하여 단일 모달리티나 간단한 RGB-증강 포인트 접근 방식보다 성능이 우수하다.