[논문 리뷰] Self-Supervised Learning for Domain Adaptation on Point-Clouds

Idan Achituve, Haggai Maron외 1명|arXiv (Cornell University)|2020. 03. 29.

Human Pose and Action Recognition참고 문헌 69인용 수 33

한 줄 요약

이 논문은 Deformation Reconstruction (DefRec)을 소개하고, 포인트 클라우드의 도메인 적응을 위한 자기지도 학습 태스크와 Point Cloud Mixup (PCM)을 제시하며, PointDA-10에서 최첨단 성과와 새로운 PointSegDA 벤치마크를 달성합니다.

ABSTRACT

Self-supervised learning (SSL) is a technique for learning useful representations from unlabeled data. It has been applied effectively to domain adaptation (DA) on images and videos. It is still unknown if and how it can be leveraged for domain adaptation in 3D perception problems. Here we describe the first study of SSL for DA on point clouds. We introduce a new family of pretext tasks, Deformation Reconstruction, inspired by the deformations encountered in sim-to-real transformations. In addition, we propose a novel training procedure for labeled point cloud data motivated by the MixUp method called Point cloud Mixup (PCM). Evaluations on domain adaptations datasets for classification and segmentation, demonstrate a large improvement over existing and baseline methods.

연구 동기 및 목표

• 3D 포인트 클라우드에서 SSL이 도메인 적응(DA)에 어떻게 도움을 줄 수 있는지 동기를 부여하고 이해한다.
• 포인트 클라우드의 일반적인 시뮬레이션-실제 간 변형에 맞춘 SSL 프리텍스트 작업(DefRec의 계열)을 개발한다.
• 소스 도메인의 라벨링 데이터를 보강하기 위한 PCM(Point Cloud Mixup) 방법을 제안한다.
• 분류 및 분할 벤치마인을 통해 DefRec와 PCM이 기준선보다 DA 성능을 향상시킴을 입증한다.
• 변형 유형, 기반 실험(애브레이션) 및 DefRec 설계에 대한 실용적 지침에 대한 분석을 제공한다.

제안 방법

• 공유 포인트-클라우드 인코더 Φ와 두 개의 헤드 h_sup(소스 도메인 감독 학습 작업용)와 h_SSL(양 도메인에서의 SSL 재구성용)을 갖는 다중 태스크 아키텍처를 제안한다.
• Chamfer 거리를 SSL 손실로 사용해 포인트 클라우드의 한 영역을 변형시키고 원래 영역을 재구성하도록 하는 DefRec 계열의 프리텍스트 작업을 도입한다.
• DefRec의 세 가지 영역 변형 방식(부피 기반, 특징 기반, 샘플링 기반 변형)을 설명하고, 각 방식은 변형할 영역과 재구성할 영역을 선택한다.
• Mixup에서 영감을 얻은 PCM을 도입한다. 한 클라우드에서 γn개 점을 샘플링하고 다른 클라우드에서 (1−γ)n개를 샘플링하여 새로운 라벨링된 포인트 클라우드를 만들고, 레이블은 선형으로 혼합한다.
• 전체 손실은 소스에 대한 감독 손실(PCM으로 보강된 경우를 포함할 수 있음)과 변형된 샘플의 SSL 재구성 손실의 가중합으로 정의한다.
• DefRec를 주로 타깃 데이터에 적용해 도메인 간 격차를 줄이고, DefRec와 결합했을 때 PCM이 기준선 성능을 개선함을 보인다.

실험 결과

연구 질문

• RQ1 3D 포인트 클라우드에서 도메인 적응을 위한 SSL 프리텍스트 작업은 어떻게 설계될 수 있는가?
• RQ2 변형 기반 재구성 작업(DefRec)이 기존 포인트 클라우드용 SSL 작업보다 소스-타깃 분포 간 간격을 더 효과적으로 연결하는가?
• RQ3 포인트 클라우드용 Mixup 기반 전략(PCM)이 DefRec를 DA에 보완하는가, 분류와 분할 작업의 성능에 어떻게 영향을 미치는가?
• RQ4 다양한 DeRec 변형 방식(부피 기반, 특징 기반, 샘플링 기반)이 DA 성능에 미치는 영향은 무엇인가?
• RQ5 DefRec를 분할(task)으로 확장할 수 있으며 PointSegDA에서의 성능은 어떠한가?

주요 결과

• DefRec 및 DefRec+PCM은 여섯 가지 PointDA-10 적응에서 강력한 기준선보다 우수한 성능을 보이며, DefRec+PCM이 가장 우수한 전체 성능을 달성한다.
• DefRec+PCM은 최고 기준선 대비 평균 약 5퍼센트 포인트, PointDAN 대비 약 5.5 포인트의 정확도 향상을 보인다.
• 부피 기반, 특징 기반, 샘플링 기반 DefRec 변형은 강점이 다르게 나타내며, 부피 기반 변형이 종종 강한 결과를 낳고, 중간 규모 영역 변형이 더 효과적일 때가 많다.
• 타깃 데이터에 DefRec를 적용하고(선택적으로 소스 데이터에 PCM을 적용) 시뮬레이션-실제 및 교차 데이터셋 적응에서 상당한 이득을 얻는다.
• DefRec는 분할로 확장될 수 있으며, DefRec+PCM은 PointSegDA에서 평균 IoU를 기준선보다 향상시킨다.