[논문 리뷰] Weakly Supervised Semantic Segmentation for Large-Scale Point Cloud

Yachao Zhang, Zonghao Li외 4명|arXiv (Cornell University)|2022. 12. 09.

Remote Sensing and LiDAR Applications인용 수 8

한 줄 요약

이 논문은 대규모 포인트 클라우드에 대한 약한 감독(semantic segmentation) 방법을 제안하며, 자율학습(point cloud colorization)을 사전 과제(pretext task)로 활용하여 특징 표현을 향상시키고, 클래스 프로토타입을 사용한 희소 레이블 전파 메커니즘을 도입하여 제한된 레이블을 효과적으로 전파한다. 이 방법은 최소한의 레이블 데이터로 대규모 데이터셋에서 완전 감독 방법과 비교할 만한 성능을 달성한다.

ABSTRACT

Existing methods for large-scale point cloud semantic segmentation require expensive, tedious and error-prone manual point-wise annotations. Intuitively, weakly supervised training is a direct solution to reduce the cost of labeling. However, for weakly supervised large-scale point cloud semantic segmentation, too few annotations will inevitably lead to ineffective learning of network. We propose an effective weakly supervised method containing two components to solve the above problem. Firstly, we construct a pretext task, extit{i.e.,} point cloud colorization, with a self-supervised learning to transfer the learned prior knowledge from a large amount of unlabeled point cloud to a weakly supervised network. In this way, the representation capability of the weakly supervised network can be improved by the guidance from a heterogeneous task. Besides, to generate pseudo label for unlabeled data, a sparse label propagation mechanism is proposed with the help of generated class prototypes, which is used to measure the classification confidence of unlabeled point. Our method is evaluated on large-scale point cloud datasets with different scenarios including indoor and outdoor. The experimental results show the large gain against existing weakly supervised and comparable results to fully supervised methods\footnote{Code based on mindspore: https://github.com/dmcv-ecnu/MindSpore\_ModelZoo/tree/main/WS3\_MindSpore}.

연구 동기 및 목표

• 완전 감독 기반의 대규모 포인트 클라우드 세분화에서 높은 레이블링 비용을 줄이기 위해 소수의 레이블링된 포인트만을 사용하고자 한다.
• 제한된 레이블로 인해 효과적인 학습이 어려운 약한 감독 환경에서 특징 표현을 향상시키고자 한다.
• 대규모 포인트 클라우드에서 레이블이 없는 포인트에 허위 레이블(pseudo-labels)을 효율적이고 확장 가능한 방식으로 전파할 수 있는 방법을 개발하고자 한다.
• 레이블이 없는 데이터에서 자율학습된 사전 훈련된 지식을 전이하여 약한 감독 기반 세분화 성능을 향상시키고자 한다.

제안 방법

• 자율학습 사전 과제로, 색상 공간 변환을 활용한 포인트 클라우드 색조화(point cloud colorization)를 설계하여 레이블이 없는 데이터로부터 의미적 표현을 학습한다.
• 지역적 지각 정규화 항목(local perceptual regularization term)을 도입하여 국소적 특징 일관성을 향상시키고, 세분화 목표와 일치시킨다.
• 색조화 과제에서 사전 훈련된 특징를 약한 감독 기반 세분화 네트워크의 초기화에 활용하여 지식 전이를 가능하게 한다.
• 클래스 프로토타입을 사용하여 분류 신뢰도를 측정하고, 효율적으로 허위 레이블을 전파하는 희소 레이블 전파 메커니즘을 도입한다.
• 전파 과정은 비선형적으로 가중되며, 훈련이 진행됨에 따라 특징 표현이 향상됨에 따라 영향력이 점차 증가한다.
• 약한 감독 교차 엔트로피 손실과 정규화된 레이블 전파 손실의 조합을 통해 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 포인트 클라우드에서 자율학습 사전 과제를 수행함으로써 약한 감독 기반 세분화에서 특징 표현을 향상시킬 수 있는가?
• RQ2 과도한 계산 비용 없이 대규모 포인트 클라우드의 레이블이 없는 포인트에 허위 레이블을 효과적으로 전파할 수 있는가?
• RQ3 색조화와 같은 이질적 사전 과제가 최소한의 레이블로도 세분화 성능 향상에 도움이 되는 유용한 인덕티브 바이어스(inductive bias)를 전달할 수 있는가?
• RQ4 제안된 방법이 대규모 데이터셋에서 완전 감독 기반 기준 모델과 유사한 성능을 달성할 수 있는가?

주요 결과

• S3DIS Area 5에서 1%의 레이블된 포인트만으로도 64.0% mIoU를 달성하여 베이스라인보다 2.7% 높은 성능을 보였다.
• 10%의 레이블된 포인트를 사용했을 때 S3DIS에서 64.0% mIoU를 기록하여, 완전 감독 기반 RandLA-Net(64.8% mIoU)의 성능에 근접했다.
• Semantic3D (reduced-8)에서 10%의 레이블된 포인트로 73.3% mIoU를 달성하여 기존의 약한 감독 기반 방법들을 능가했다.
• 절단 분석(ablation study)을 통해 자율학습 사전 훈련이 1포인트 설정에서 성능을 최대 5.0% 향상시키며, 특히 저샷(low-shot) 환경에서 유의미한 이점을 제공함을 확인했다.
• 비선형 가중치를 적용한 희소 레이블 전파 방법은 1% 레이블 데이터에서 전파 없이 대비해 mIoU를 2.7% 향상시켜 그 효과를 입증했다.
• 레이블 전파로 인해 에포크당 훈련 시간이 13초 증가(280초로)했지만, 추론 시간은 RandLA-Net과 거의 동일했으며(116초 대비 115초) 유지되었다.