[논문 리뷰] JSNet: Joint Instance and Semantic Segmentation of 3D Point Clouds

Lin Zhao, Wenbing Tao|arXiv (Cornell University)|2019. 12. 20.

3D Shape Modeling and Analysis참고 문헌 34인용 수 12

한 줄 요약

JSNet는 공유 백본과 특징 융합을 활용하여 3D 포인트 클라우드의 통합 3D 인스턴스 및 시맨틱 세그멘테이션을 위한 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 또한 인스턴스 및 시맨틱 세그멘테이션 간 상호 강화를 가능하게 하는 새로운 공동 인스턴스 및 시맨틱 세그멘테이션(JISS) 모듈을 도입한다. 이는 S3DIS에서 62.9%의 mPrec와 55.0%의 mIoU를 기록하여 기존 방법들을 능가하는 최신 기술 성능을 달성한다.

ABSTRACT

In this paper, we propose a novel joint instance and semantic segmentation approach, which is called JSNet, in order to address the instance and semantic segmentation of 3D point clouds simultaneously. Firstly, we build an effective backbone network to extract robust features from the raw point clouds. Secondly, to obtain more discriminative features, a point cloud feature fusion module is proposed to fuse the different layer features of the backbone network. Furthermore, a joint instance semantic segmentation module is developed to transform semantic features into instance embedding space, and then the transformed features are further fused with instance features to facilitate instance segmentation. Meanwhile, this module also aggregates instance features into semantic feature space to promote semantic segmentation. Finally, the instance predictions are generated by applying a simple mean-shift clustering on instance embeddings. As a result, we evaluate the proposed JSNet on a large-scale 3D indoor point cloud dataset S3DIS and a part dataset ShapeNet, and compare it with existing approaches. Experimental results demonstrate our approach outperforms the state-of-the-art method in 3D instance segmentation with a significant improvement in 3D semantic prediction and our method is also beneficial for part segmentation. The source code for this work is available at https://github.com/dlinzhao/JSNet.

연구 동기 및 목표

• 3D 인스턴스 및 시맨틱 세그멘테이션을 위한 별도 또는 후처리 기반 접근 방식의 한계를 해결하기 위해.
• 인스턴스 세그멘테이션과 시맨틱 세그멘테이션 간의 상호 강화를 통해 정확도를 향상시키기 위해.
• 과적합과 메모리 소비를 줄이며 높은 성능을 유지하는 효율적인 엔드 투 엔드 프레임워크를 설계하기 위해.
• 대규모 3D 실내 및 부품 세그멘테이션 데이터셋에서 특징 융합과 공동 학습의 효과를 검증하기 위해.

제안 방법

• 원시 3D 포인트 클라우드에서 계층적 특징을 추출하기 위해 공유된 PointNet++ 및 PointConv 기반의 백본 네트워크를 사용한다.
• 포인트 클라우드 특징 융합(PCFF) 모듈이 백본에서 유도된 다중 수준 특징을 융합하여 더 구분력 있는 표현을 생성한다.
• 공동 인스턴스 및 시맨틱 세그멘테이션(JISS) 모듈이 시맨틱 특징을 인스턴스 임베딩 공간으로 변환하고, 이를 인스턴스 특징과 융합하여 인스턴스 세그멘테이션 성능을 향상시킨다.
• JISS 모듈은 인스턴스 특징을 시맨틱 공간으로 암묵적으로 집계하여 시맨틱 세그멘테이션 성능을 향상시키며, 이는 双방향 지식 전이를 가능하게 한다.
• 학습된 인스턴스 임베딩을 바탕으로 평균 이동 클러스터링을 수행하여 복잡한 후처리를 회피한다.
• 과적합을 줄이고 일반화 성능을 향상시키기 위해 무작위 샘플링 및 조기 정지 기법을 사용하여 전체 네트워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 분리 또는 순차적 접근 방식에 비해 인스턴스 및 시맨틱 세그멘테이션의 공동 학습이 3D 포인트 클라우드에서 성능 향상에 기여하는가?
• RQ2 다양한 네트워크 레이어 간 특징 융합이 3D 포인트 클라우드 작업의 세그멘테이션 정확도에 어떤 영향을 미치는가?
• RQ3 인스턴스 세그멘테이션과 시맨틱 세그멘테이션 간의 상호 강화가 양쪽 작업의 예측 성능 향상에 기여하는가?
• RQ4 과적합을 방지하기 위한 최적의 훈련 전략(예: 무작위 샘플링, 조기 정지)은 무엇인가?
• RQ5 제안된 프레임워크는 실내 환경과 부품 수준 세그멘테이션을 포함한 다양한 3D 데이터셋에서 얼마나 잘 일반화되는가?

주요 결과

• JSNet는 S3DIS 데이터셋에서 62.9%의 mPrec와 55.0%의 mIoU를 기록하여 3D 인스턴스 세그멘테이션 분야에서 최신 기술 성능을 달성한다.
• 제거 실험 결과, PCFF 모듈이 특징의 구분력을 크게 향상시켜, 추가 시 mIoU가 52.7%에서 54.5%로 증가함을 확인하였다.
• 인스턴스 → 시맨틱 및 시맨틱 → 인스턴스 피드백을 모두 포함한 공동 JISS 모듈이 단독으로 사용할 경우보다 더 높은 성능 향상을 이룬다.
• 훈련 중 무작위 샘플링은 과적합을 줄이고 일반화 성능을 향상시키며, 고정 샘플링 대비 mPrec를 58.7%에서 62.9%로 증가시켰다.
• 모델은 부품 세그멘테이션을 위한 ShapeNet에서도 뛰어난 성능을 기록하여 실내 환경 세그멘테이션 외에도 일반화 능력이 뛰어나다는 것을 시사한다.
• 조기 정지는 일반화 성능을 추가로 향상시키며, 무작위 샘플링과 조기 정지를 병행할 경우 최고 성능(62.9% mPrec, 55.0% mIoU)을 달성한다.