[논문 리뷰] Weakly Supervised Semantic Segmentation in 3D Graph-Structured Point Clouds of Wild Scenes

Haiyan Wang, Xuejian Rong외 4명|arXiv (Cornell University)|2020. 04. 26.

3D Shape Modeling and Analysis인용 수 5

한 줄 요약

이 논문은 야생 환경의 대규모 포인트 클라우드에서 학습하기 위해 3D 세분화를 위한 약한 감독 틀을 제안한다. 2D 감독만을 사용하며, 그래프 기반 피라미드 특징 네트워크와 관측 가능성 네트워크를 활용하고, 2D-3D 공동 최적화 및 투시 렌더링을 통해 SUNCG 및 S3DIS 데이터셋에서 완전 감독 방법과 비교할 만한 최신 기술 성능을 달성한다.

ABSTRACT

The deficiency of 3D segmentation labels is one of the main obstacles to effective point cloud segmentation, especially for scenes in the wild with varieties of different objects. To alleviate this issue, we propose a novel deep graph convolutional network-based framework for large-scale semantic scene segmentation in point clouds with sole 2D supervision. Different with numerous preceding multi-view supervised approaches focusing on single object point clouds, we argue that 2D supervision is capable of providing sufficient guidance information for training 3D semantic segmentation models of natural scene point clouds while not explicitly capturing their inherent structures, even with only single view per training sample. Specifically, a Graph-based Pyramid Feature Network (GPFN) is designed to implicitly infer both global and local features of point sets and an Observability Network (OBSNet) is introduced to further solve object occlusion problem caused by complicated spatial relations of objects in 3D scenes. During the projection process, perspective rendering and semantic fusion modules are proposed to provide refined 2D supervision signals for training along with a 2D-3D joint optimization strategy. Extensive experimental results demonstrate the effectiveness of our 2D supervised framework, which achieves comparable results with the state-of-the-art approaches trained with full 3D labels, for semantic point cloud segmentation on the popular SUNCG synthetic dataset and S3DIS real-world dataset.

연구 동기 및 목표

• 복잡한 실제 환경에서 3D 세분화 애너테이션의 부족 문제를 해결하기 위해.
• 2D 이미지 수준의 감독만을 사용하여 효과적인 3D 세분화를 가능하게 하기 위해.
• 명시적인 3D 감독 없이도 3D 포인트 클라우드의 구조를 암묵적으로 모델링하기 위해.
• 3D 환경에서의 객체 가림 및 복잡한 공간 관계에 기인한 과제를 완화하기 위해.
• 자연 환경 포인트 클라우드의 대규모 세분화를 위한 확장 가능한 프레임워크를 개발하기 위해.

제안 방법

• 3D 포인트 클라우드로부터 계층적인 전역 및 국소 특징을 추출하기 위해 그래프 기반 피라미드 특징 네트워크(GPFN)를 설계하였다.
• 3D 환경에서의 가시성과 객체 가림을 모델링하기 위해 관측 가능성 네트워크(OBSNet)를 도입하였다.
• 투시 렌더링 및 세분화 융합 모듈을 통해 3D 포인트 클라우드에서 정제된 2D 감독 신호를 생성하였다.
• 학습 중 2D 감독과 3D 예측 간의 정렬을 위해 2D-3D 공동 최적화 전략을 적용하였다.
• 3D 경계 상자나 인스턴스 수준의 레이블이 필요 없이 단일 시야 2D 애너테이션을 활용해 3D 세분화를 유도하는 프레임워크를 구현하였다.
• 포인트 클라우드의 위상에 기반한 그래프 컨볼루션 연산을 통해 3D 기하학적 구조를 암묵적으로 캡처하는 모델을 설계하였다.

실험 결과

연구 질문

• RQ1 복잡한 실제 환경에서 2D 감독만으로도 정확한 3D 세분화를 위한 충분한 가이던스를 제공할 수 있는가?
• RQ2 명시적인 3D 애너테이션 없이도 3D 포인트 클라우드의 구조를 효과적으로 모델링할 수 있는가?
• RQ3 2D 감독과 가시성 모델링을 통해 3D 환경에서의 객체 가림은 어느 정도 완화될 수 있는가?
• RQ4 2D-3D 공동 최적화 전략은 순수 2D 또는 3D 감독 학습에 비해 세분화 성능을 향상시킬 수 있는가?
• RQ5 정확도와 확장성 측면에서 제안된 방법은 완전 감독 최신 기술 방법과 어떻게 비교되는가?

주요 결과

• 제안된 방법은 SUNCG 합성 데이터셋에서 최신 기술 완전 감독 방법과 비교할 만한 성능을 달성한다.
• S3DIS 실제 환경 데이터셋에서, 3D 레이블 없이도 완전 감독 최신 기술 방법의 성능을 재현한다.
• 그래프 기반 피라미드 특징 네트워크는 그래프 컨볼루션 연산을 통해 3D 포인트 클라우드의 국소 및 전역 맥락을 효과적으로 캡처한다.
• 관측 가능성 네트워크는 가시성과 공간 관계를 모델링하여 가림 영역에서의 세분화 정확도를 크게 향상시킨다.
• 2D-3D 공동 최적화 전략은 특징 정렬을 향상시키고 다양한 시나리오 레이아웃에 대한 일반화 능력을 향상시킨다.
• 자연 환경의 대규모이고 복잡한 포인트 클라우드에서 강력한 확장성과 강인성을 입증한다.