[논문 리뷰] SSPC-Net: Semi-supervised Semantic 3D Point Cloud Segmentation Network

Mingmei Cheng, Le Hui외 2명|arXiv (Cornell University)|2021. 04. 16.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

SSPC-Net는 소수의 레이블이 부여된 점들을 활용하고 비라벨링된 점들에 대해 고품질의 가짜 레이블을 생성함으로써 annotation 비용을 줄이는 준지도 학습 3D 포인트 클라우드 세그먼테이션 네트워크이다. 초점점 그래프를 사용하고 동적 레이블 전파 및 초점점 드롭아웃 전략을 통해 가짜 레이블을 정교화하며, 쌍방향 주의 메커니즘이 특징 분별력을 향상시켜 단지 0.01%의 레이블이 부여된 점들로도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Point cloud semantic segmentation is a crucial task in 3D scene understanding. Existing methods mainly focus on employing a large number of annotated labels for supervised semantic segmentation. Nonetheless, manually labeling such large point clouds for the supervised segmentation task is time-consuming. In order to reduce the number of annotated labels, we propose a semi-supervised semantic point cloud segmentation network, named SSPC-Net, where we train the semantic segmentation network by inferring the labels of unlabeled points from the few annotated 3D points. In our method, we first partition the whole point cloud into superpoints and build superpoint graphs to mine the long-range dependencies in point clouds. Based on the constructed superpoint graph, we then develop a dynamic label propagation method to generate the pseudo labels for the unsupervised superpoints. Particularly, we adopt a superpoint dropout strategy to dynamically select the generated pseudo labels. In order to fully exploit the generated pseudo labels of the unsupervised superpoints, we furthermore propose a coupled attention mechanism for superpoint feature embedding. Finally, we employ the cross-entropy loss to train the semantic segmentation network with the labels of the supervised superpoints and the pseudo labels of the unsupervised superpoints. Experiments on various datasets demonstrate that our semi-supervised segmentation method can achieve better performance than the current semi-supervised segmentation method with fewer annotated 3D points. Our code is available at https://github.com/MMCheng/SSPC-Net.

연구 동기 및 목표

• 세그먼테이션을 위한 대규모 3D 포인트 클라우드의 애너테이션 비용과 노동 강도를 줄이기 위해.
• 완전히 지도 학습된 데이터에 대한 의존도를 줄임으로써 준지도 학습 3D 포인트 클라우드 세그먼테이션을 향상시키기 위해.
• 장거리 상관관계와 불확실성 인식 정제를 활용해 비라벨링된 점들에 대해 정확한 가짜 레이블을 추론하는 방법을 개발하기 위해.
• 쌍방향 주의 메커니즘을 통해 지도 학습된 초점점과 확장된(가짜 레이블이 부여된) 초점점을 함께 모델링하여 특징 학습을 향상시키기 위해.

제안 방법

• 지오메트릭 유사성을 기반으로 3D 포인트 클라우드를 초점점으로 분할하여 복잡도를 감소시키고 그래프 기반 추론을 가능하게 한다.
• 가중치가 부여된 그래프 신경망을 사용해 특징 임베딩을 위한 초점점 그래프를 구성하여 초점점 간의 장거리 상관관계를 모델링한다.
• 동적 레이블 전파 메커니즘이 그래프 간선을 따라 지도 학습된 초점점에서 인접하고 의미적으로 유사한 초점점으로 레이블을 전파한다.
• 전파 과정 중 저신뢰도의 가짜 레이블이 부여된 초점점을 제거하기 위해 초점점 드롭아웃 전략을 적용하여 레이블 품질을 향상시킨다.
• 쌍방향 주의 메커니즘이 지도 학습된 초점점과 확장된 초점점을 번갈아 가며 주목함으로써 특징 분별력을 향상시키고 불확실성을 감소시킨다.
• 실제 레이블과 정제된 가짜 레이블에 대한 병합된 교차 엔트로피 손실을 사용해 네트워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 초점점 그래프에서의 동적 레이블 전파가 비라벨링된 3D 포인트 클라우드 영역에 대해 고품질의 가짜 레이블을 효과적으로 생성할 수 있는가?
• RQ2 초점점 드롭아웃 전략을 통합함으로써 준지도 학습 3D 세그먼테이션에서 가짜 레이블의 신뢰성은 어떻게 향상되는가?
• RQ3 쌍방향 주의 메커니즘이 지도 학습된 초점점과 가짜 레이블이 부여된 초점점을 함께 모델링함으로써 특징 학습을 얼마나 향상시킬 수 있는가?
• RQ4 기존 준지도 학습 접근법과 비교해 상당히 적은 애너테이션 점을 사용할 때도 제안된 방법이 뛰어난 세그먼테이션 성능을 달성할 수 있는가?

주요 결과

• S3DIS 데이터셋의 Area5에서 단지 0.01%의 레이블이 부여된 점들로도 SSPC-Net은 평균 교차율(mIoU) 51.5%를 달성하여 현재 최고 수준의 기술을 초월한다.
• 확장된(가짜 레이블이 부여된) 초점점의 총 정확도(OA)는 0.01%의 감독 비율에서 90.9%에 도달하여 생성된 가짜 레이블의 고품질임을 확인한다.
• 제거 분석 결과 동적 레이블 전파와 쌍방향 주의를 추가함으로써 mIoU가 각각 3.1점과 4.5점 향상됨을 확인하여 이들의 효과를 입증한다.
• 초기 감독 비율에서도 모델은 강력한 성능을 유지하며, 단지 0.002%의 레이블이 부여된 점들로도 43.0%의 mIoU를 달성한다.
• 동적 레이블 전파의 최적 간격은 M=40 에포크이며, 이 시점에서 레이블 정제와 훈련 안정성 사이의 최적 균형을 이룬다.
• 감독 비율이 낮을수록 확장된 초점점의 비율이 크게 증가함을 확인하여, 이 방법이 낮은 애너테이션 예산 하에서 가짜 레이블링에 의존하고 효과적임을 보여준다.