[논문 리뷰] SQN: Weakly-Supervised Semantic Segmentation of Large-Scale 3D Point Clouds with 1000x Fewer Labels.

Qingyong Hu, Bo Yang외 5명|arXiv (Cornell University)|2021. 04. 11.

3D Shape Modeling and Analysis참고 문헌 22인용 수 18

한 줄 요약

이 논문은 대규모 3D 포인트 클라우드의 의미적 세그멘테이션을 위한 약한 감독 방법인 의미적 쿼리 네트워크(SQN)를 제안한다. 이 방법은 완전 감독 방법이 요구하는 레이블링 포인트의 0.1%만으로도 최신 기술 수준(SOTA) 성능을 달성한다. 이는 인접한 포인트 간의 의미적 유사성을 활용하여 감독 신호를 암묵적으로 증강함으로써 레이블링 노력의 1000배를 줄이는 데 성공한다. 이는 여섯 개의 대규모 데이터셋에서 높은 정확도를 유지한다.

ABSTRACT

We study the problem of labelling effort for semantic segmentation of large-scale 3D point clouds. Existing works usually rely on densely annotated point-level semantic labels to provide supervision for network training. However, in real-world scenarios that contain billions of points, it is impractical and extremely costly to manually annotate every single point. In this paper, we first investigate whether dense 3D labels are truly required for learning meaningful semantic representations. Interestingly, we find that the segmentation performance of existing works only drops slightly given as few as 1% of the annotations. However, beyond this point (e.g. 1 per thousand and below) existing techniques fail catastrophically. To this end, we propose a new weak supervision method to implicitly augment the total amount of available supervision signals, by leveraging the semantic similarity between neighboring points. Extensive experiments demonstrate that the proposed Semantic Query Network (SQN) achieves state-of-the-art performance on six large-scale open datasets under weak supervision schemes, while requiring only 1000x fewer labeled points for training. The code is available at this https URL.

연구 동기 및 목표

• 밀도 있는 포인트 수준의 레이블링이 효과적인 3D 의미적 세그멘테이션을 위해 진정으로 필수적인가를 조사하는 것.
• 수십억 개의 포인트를 포함할 수 있는 대규모 3D 포인트 클라우드의 과도한 레이블링 비용을 줄이는 것.
• 매우 낮은 레이블링 요구 조건에서도 높은 세그멘테이션 성능을 유지하는 약한 감독 방법을 개발하는 것.
• 인접한 포인트 간의 의미적 유사성이 약한 감독을 보완하는 데 효과적으로 활용될 수 있는가를 탐색하는 것.

제안 방법

• SQN은 포인트 간 국소적 의미적 유사성을 활용하여 감독 신호의 효과적 크기를 암묵적으로 증가시키는 새로운 약한 감독 프레임워크를 도입한다.
• 이 방법은 포인트 클라우드 내에서 의미적으로 일관된 이웃 영역을 식별하고 활용하기 위해 학습 가능한 쿼리 메커니즘을 사용한다.
• 의미적으로 유사한 인접 포인트의 특징 임베딩이 임베딩 공간에서 가까워지도록 유도하는 대비 학습 목표를 설정한다.
• 이 네트워크는 희소한 포인트 수준의 레이블링과 인접 포인트로부터의 자기지도형 대비 신호를 조합하여 엔드 투 엔드로 훈련된다.
• 이 프레임워크는 수십억 개의 포인트를 포함하는 포인트 클라우드에 적합하도록 확장성과 효율성이 설계되어 있다.

실험 결과

연구 질문

• RQ1 표준 레이블링 포인트 수의 1%만으로도 의미적 세그멘테이션 성능을 유지할 수 있는가?
• RQ2 레이블 농도가 1% 이하로 낮아질 경우 성능 저하가 발생하는 임계점은 어디인가?
• RQ3 인접한 포인트 간의 의미적 유사성이 3D 세그멘테이션에서 약한 감독을 보완하는 데 효과적으로 활용될 수 있는가?
• RQ4 제안된 방법이 최소한의 레이블링으로 약한 감독 하에서 최신 기술 수준 성능을 달성할 수 있는가?

주요 결과

• SQN은 여섯 개의 대규모 3D 포인트 클라우드 데이터셋에서 약한 감독 설정 하에 최신 기술 수준 성능을 달성한다.
• 단지 0.1%의 포인트만 레이블링된 상태에서도 높은 세그멘테이션 정확도를 유지하며, 이는 레이블링 노력이 1000배 감소한 것이다.
• 레이블 농도가 1% 이하로 떨어지면 성능이 급격히 악화되며, 이는 기존 방법에 대한 임계 포인트를 시사한다.
• 인접한 포인트 간의 의미적 유사성 활용은 효과적인 자기지도형 감독을 가능하게 하여, 극히 적은 레이블링으로도 모델 일반화 능력을 크게 향상시킨다.