[논문 리뷰] A Learnable Self-supervised Task for Unsupervised Domain Adaptation on Point Clouds

Xiaoyuan Luo, Shaolei Liu외 3명|arXiv (Cornell University)|2021. 04. 12.

Human Pose and Action Recognition참고 문헌 32인용 수 11

한 줄 요약

이 논문은 포인트 클라우드 처리에서 비지도 도메인 적응(UDA)을 위한 학습 가능한 자기지도 학습 태스크를 제안한다. 신경망을 사용해 포인트 클라우드의 일부를 파손하고 재구성하는 비선형 변환을 학습한다. 주 분류 작업과 이 재구성 기반 자기지도 학습 간에 인코더를 공유함으로써 모델은 이식 가능한 국소 특징을 학습하며, PointDA-10 및 PointSegDA 벤치마크에서 최신 기술 성능(SoTA)을 달성한다.

ABSTRACT

Deep neural networks have achieved promising performance in supervised point cloud applications, but manual annotation is extremely expensive and time-consuming in supervised learning schemes. Unsupervised domain adaptation (UDA) addresses this problem by training a model with only labeled data in the source domain but making the model generalize well in the target domain. Existing studies show that self-supervised learning using both source and target domain data can help improve the adaptability of trained models, but they all rely on hand-crafted designs of the self-supervised tasks. In this paper, we propose a learnable self-supervised task and integrate it into a self-supervision-based point cloud UDA architecture. Specifically, we propose a learnable nonlinear transformation that transforms a part of a point cloud to generate abundant and complicated point clouds while retaining the original semantic information, and the proposed self-supervised task is to reconstruct the original point cloud from the transformed ones. In the UDA architecture, an encoder is shared between the networks for the self-supervised task and the main task of point cloud classification or segmentation, so that the encoder can be trained to extract features suitable for both the source and the target domain data. Experiments on PointDA-10 and PointSegDA datasets show that the proposed method achieves new state-of-the-art performance on both classification and segmentation tasks of point cloud UDA. Code will be made publicly available.

연구 동기 및 목표

• 감독 학습에서의 포인트 클라우드 학습에 필요한 수작업 레이블링 비용을 줄이기 위해 타겟 도메인 레이블 없이 도메인 일반화를 가능하게 하는 것.
• 기존 포인트 클라우드 UDA 방법에서 수작업으로 설계된 자기지도 학습 태스크의 한계를 극복하는 것.
• 파손-재구성에 대한 비선형 변환을 학습하여 소스 도메인과 타겟 도메인 간의 특징 이식 능력을 향상시키는 것.
• 다중태스크 학습 프레임워크에서 공유 인코더를 사용하여 포인트 클라우드 UDA 벤치마크에서 최신 기술 성능을 달성하는 것.

제안 방법

• 딥 신경망을 사용해 포인트 클라우드의 일부를 파손하는 학습 가능한 비선형 변환을 제안하여 의미 정보는 유지하면서도 복잡한 변형을 생성하는 것.
• 모델이 변환된 포인트 클라우드에서 원본 포인트 클라우드를 재구성하도록 하는 파손-재구성 자기지도 학습 태스크를 설계하는 것.
• 주 분류 작업(분류/세그멘테이션)과 보조 작업(재구성)을 위한 별도의 헤드를 갖는 공유 인코더를 포함한 다중태스크 UDA 프레임워크에 자기지도 학습 태스크를 통합하는 것.
• 학습 중 국소적이고 더 이식 가능한 특징에 집중하도록 다중 영역 변환 전략을 도입하는 것.
• 타겟 도메인의 의사 레이블을 사용해 보조 네트워크를 훈련시켜 소스 및 타겟 데이터에서 공동 최적화를 가능하게 하는 것.
• 적대적 학습을 통해 인코더를 훈련시켜 두 도메인 모두에 적합한 강건하고 도메인 불변 특징을 생성하는 것.

실험 결과

연구 질문

• RQ1 학습 가능한 신경망 기반 변환은 포인트 클라우드 자기지도 학습 UDA에서 수작업으로 설계된 파손 방법보다 우월한 성능을 내는가?
• RQ2 학습 가능한 재구성 태스크를 통합함으로써 포인트 클라우드 분류 및 세그멘테이션에서 도메인 이동에 대한 특징 이식 능력이 향상되는가?
• RQ3 다중 영역 변환 전략은 UDA에서 성능과 국소 특징 학습에 어떤 영향을 미치는가?
• RQ4 학습된 변환 전략은 도메인 적응을 넘어서 효과적인 데이터 증강 전략으로 활용될 수 있는가?

주요 결과

• PointNet을 인코더로 사용할 경우 PointDA-10 벤치마크에서 평균 분류 정확도 66.5%로 새로운 최신 기술 성능을 달성한다.
• DGCNN를 인코더로 사용할 경우 PointDA-10에서 평균 정확도 70.0%로 새로운 최신 기술 성능을 달성한다.
• 학습된 변환 전략은 일반화 능력을 향상시켜 데이터 증강 전략으로서 63.0%의 평균 정확도를 기록하며, 대부분의 설정에서 베이스라인 및 이전 방법을 능가한다.
• 단일 영역 학습 대비 다중 영역 변환 전략은 정확도를 1.0% 향상시켜 국소 특징에 집중하는 데서의 효과성을 입증한다.
• 도메인 적응 없이도 자기지도 학습 태스크만으로도 평균 정확도 63.5%를 기록하며, PointDAN 및 DefRec과 같은 이전 방법들을 초월한다.
• PointSegDA 벤치마크에서 분류 및 세그멘테이션 작업 양쪽 모두에서 기존 최신 기술 방법들을 능가함으로써, 본 방법의 광범위한 적용 가능성을 확인한다.