[논문 리뷰] GrowSP: Unsupervised Semantic Segmentation of 3D Point Clouds

Zi‐Hui Zhang, Bo Yang외 2명|arXiv (Cornell University)|2023. 05. 25.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

GrowSP는 인간의 레이블이나 사전 학습 모델이 필요 없는 순수 비지도 학습 3차원 세분화 방법을 제안한다. 이는 특징 추출기, 슈퍼포인트 구성기, 클러스터링 모듈을 통해 점점 커지는 슈퍼포인트 성장 전략을 사용하여 의미 있는 세분화 기초를 학습하며, S3DIS 및 SemanticKITTI 데이터셋에서 완전 지도 학습 방법에 가까운 성능을 달성한다.

ABSTRACT

We study the problem of 3D semantic segmentation from raw point clouds. Unlike existing methods which primarily rely on a large amount of human annotations for training neural networks, we propose the first purely unsupervised method, called GrowSP, to successfully identify complex semantic classes for every point in 3D scenes, without needing any type of human labels or pretrained models. The key to our approach is to discover 3D semantic elements via progressive growing of superpoints. Our method consists of three major components, 1) the feature extractor to learn per-point features from input point clouds, 2) the superpoint constructor to progressively grow the sizes of superpoints, and 3) the semantic primitive clustering module to group superpoints into semantic elements for the final semantic segmentation. We extensively evaluate our method on multiple datasets, demonstrating superior performance over all unsupervised baselines and approaching the classic fully-supervised PointNet. We hope our work could inspire more advanced methods for unsupervised 3D semantic learning.

연구 동기 및 목표

• 세분화를 위한 인간 레이블이 필요한 3차원 포인트 클라우드 데이터셋의 높은 비용과 비현실적인 문제를 해결하기 위해.
• 3차원 세분화에서 사전 학습 모델이나 인간의 감독이 전혀 필요 없도록 하기 위해.
• 자기지도 학습을 통해 원시이고 비정형적인 포인트 클라우드에서 복잡한 세분화 클래스를 직접 발견하기 위해.
• 레이블 없이도 의미 있는 구조를 학습할 수 있는 확장 가능한 종단 간 비지도 파이프라인 개발하기 위해.
• 희소 3차원 데이터에서 점진적인 이웃 확장을 통해 자연스럽게 세분화 기초가 나타나는지 보여주기 위해.

제안 방법

• 원시 포인트 클라우드에서 초기 포인트 특징을 학습하기 위해 훈련되지 않은 신경망(예: SparseConv) 기반의 포인트별 특징 추출기.
• 학습 중에 국소 이웃을 점진적으로 확장하여 더 큰 슈퍼포인트로 성장시키는 슈퍼포인트 구성기.
• 성장하는 슈퍼포인트 내부에서는 유사한 특징을 유지하고, 서로 다른 슈퍼포인트 간 특징는 분리시키는 점진적 훈련 전략.
• 학습된 특징을 기반으로 표준 클러스터링(예: K-means)을 사용해 슈퍼포인트를 세분화 클래스로 그룹화하는 세분화 기초 클러스터링 모듈.
• 모든 학습이 공간적 구조와 성장하는 슈퍼포인트 간 특징 일관성에 의해 이뤄지며, 완전히 비지도 방식으로 작동한다.
• 사전 학습이나 인간의 레이블 데이터를 사용하지 않으며, 모든 학습은 슈퍼포인트의 기하학적 및 구조적 진화에 의해 이끌린다.

실험 결과

연구 질문

• RQ1 인간의 레이블이나 사전 학습 모델이 전혀 없이도 3차원 세분화를 달성할 수 있는가?
• RQ2 점진적 슈퍼포인트 성장 전략이 원시 3차원 포인트 클라우드에서 의미 있는 세분화 기초를 발견하는 데 기여하는가?
• RQ3 성장하는 슈퍼포인트의 비지도 클러스터링이 완전 지도 학습 방법과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 직접 비지도 2D 방법을 3D에 적용하거나 자기지도 사전 학습을 사용하는 것과 비교해 점진적 슈퍼포인트 전략은 어떤가?
• RQ5 슈퍼포인트 크기와 성장 전략이 학습된 세분화 품질에 어떤 영향을 미치는가?

주요 결과

• S3DIS 데이터셋에서 GrowSP는 평균 교차율(mIoU) 38.3%를 기록하여 모든 비지도 기준선을 크게 앞서며, PointNet과 같은 완전 지도 학습 방법에 근접한 성능을 보였다.
• SemanticKITTI 데이터셋에서는 14.3% mIoU를 기록하여 모든 비지도 방법을 뛰어넘었으며, 대규모 실외 환경으로의 일반화 능력이 뛰어났다.
• 특히 '차량', '트럭', '건물' 등의 복잡한 카테고리에서 IIC, PICIE 및 그 변종보다 큰 격차로 앞서는 성능을 보였다.
• 점진적 슈퍼포인트 성장 전략 덕분에, 조밀한 영역에서도 포인트 수준에서는 식별되지 않는 세분화 기초를 모델이 발견할 수 있었다.
• S3DIS의 '벽' 카테고리에서는 76.0% mIoU를 기록하여 평면형 및 구조적 요소에 대해 뛰어난 성능을 보였다.
• 제거 분석 결과, 점진적 성장 메커니즘이 필수적임을 확인하였으며, 정적 슈퍼포인트나 고정된 이웃 크기의 경우 성능이 크게 떨어졌다.