[논문 리뷰] Self-Prediction for Joint Instance and Semantic Segmentation of Point Clouds

Jinxian Liu, Minghui Yu외 2명|arXiv (Cornell University)|2020. 07. 27.

3D Shape Modeling and Analysis참고 문헌 46인용 수 6

한 줄 요약

이 논문은 3D 포인트 클러스터의 인스턴스 및 시맨틱 세그멘테이션을 향상시키기 위해 한 포인트 서브셋의 레이블을 다른 포인트 서브셋의 레이블을 통해 레이블 전파를 통해 예측하도록 백본 네트워크를 동시에 훈련시키는 새로운 비지도 학습 기법 Self-Prediction를 제안한다. 인스턴스 및 시맨틱 임베딩을 통합하고 이중 방향 self-prediction를 강제화함으로써, PointNet++를 백본으로 사용할 때 S3DIS에서 최신 기준 성능을 달성하며, 기준 모델 대비 뚜렷한 성능 향상을 보인다.

ABSTRACT

We develop a novel learning scheme named Self-Prediction for 3D instance and semantic segmentation of point clouds. Distinct from most existing methods that focus on designing convolutional operators, our method designs a new learning scheme to enhance point relation exploring for better segmentation. More specifically, we divide a point cloud sample into two subsets and construct a complete graph based on their representations. Then we use label propagation algorithm to predict labels of one subset when given labels of the other subset. By training with this Self-Prediction task, the backbone network is constrained to fully explore relational context/geometric/shape information and learn more discriminative features for segmentation. Moreover, a general associated framework equipped with our Self-Prediction scheme is designed for enhancing instance and semantic segmentation simultaneously, where instance and semantic representations are combined to perform Self-Prediction. Through this way, instance and semantic segmentation are collaborated and mutually reinforced. Significant performance improvements on instance and semantic segmentation compared with baseline are achieved on S3DIS and ShapeNet. Our method achieves state-of-the-art instance segmentation results on S3DIS and comparable semantic segmentation results compared with state-of-the-arts on S3DIS and ShapeNet when we only take PointNet++ as the backbone network.

연구 동기 및 목표

• 기존 3D 세그멘테이션 방법들이 포인트 간 관계를 탐색하기 위한 효과적인 지도 없이 한계를 보이고 있는 문제를 해결하기 위해.
• 관계적 맥락 모델링을 강제하는 비지도 학습 기법을 도입함으로써 포인트 클러스터 네트워크의 특징 학습을 향상시키기 위해.
• 相互 지도 학습을 활용해 통합된 프레임워크를 통해 인스턴스 및 시맨틱 세그멘테이션을 동시에 향상시키기 위해.
• 다양한 백본 네트워크에 적용 가능하고 추론 비용을 증가시키지 않는 일반화 가능하고 파라미터가 없는 훈련 기법을 설계하기 위해.

제안 방법

• 포인트 클러스터를 두 개의 상호 배타적인 서브셋으로 나누고, 인스턴스 및 시맨틱 임베딩을 조합하여 구성된 완전 그래프를 사용해 두 서브셋 간 레이블 전파를 수행한다.
• Self-Prediction는 한 서브셋의 레이블을 다른 서브셋의 레이블을 사용해 다중 레이블(인스턴스 및 시맨틱)을 예측하도록 훈련하며, 훈련 중 이중 방향 전파를 강제한다.
• 인스턴스 및 시맨틱 임베딩을 연결하여 그래프의 노드 특징으로 사용함으로써, 네트워크가 관계 기반 제약 조건을 통해 구별 가능한 표현을 학습할 수 있도록 한다.
• 세 개의 헤드(인스턴스, 시맨틱, Self-Prediction)를 갖는 엔드 투 엔드로 훈련되며, 후자는 특징 품질 향상에 기여하는 정규화 기능을 수행한다.
• 추론 시 Self-Prediction 헤드는 제거되어 추가적인 계산 또는 파라미터 오버헤드가 없도록 보장된다.
• 이 방법은 다양한 백본과 호환되며, PointNet, PointNet++, DGCNN 등에 모두 적용 가능하다.

실험 결과

연구 질문

• RQ1 포인트 서브셋 간 레이블 전파를 활용하는 비지도 학습 기법이 3D 포인트 클러스터 세그멘테이션 성능을 향상시킬 수 있는가?
• RQ2 인스턴스 및 시맨틱 세그멘테이션 간의 공동 지도 학습이 특징 학습 및 세그멘테이션 성능 향상에 어떤 영향을 미치는가?
• RQ3 이중 방향 self-prediction가 단방향 또는 무작위 그룹화보다 관계 기반 특징 학습에서 얼마나 뛰어난 성능을 보이는가?
• RQ4 전파 비율, 그룹 수, 손실 가중치와 같은 핵심 하이퍼파rameter에 대해 이 방법의 민감도는 어느 정도인가?

주요 결과

• 제안된 Self-Prediction 방법은 PointNet++를 백본으로 사용할 때 S3DIS 데이터셋에서 최신 기준 성능을 달성하며, 평균 인스턴스 mAP는 51.1%이며, mRec는 43.6%를 기록한다.
• ShapeNet 데이터셋에서는 DGCNN을 백본으로 사용해 파트 인스턴스 세그멘테이션에서 86.2%의 mIoU를 달성하며, 기준 모델 및 ASIS보다 뛰어난 성능을 보였다.
• 절단 분석 결과, 이중 방향 self-prediction는 단방향 또는 무작위 그룹화보다 더 뛰어난 성능을 보였으며, mIoU가 51.0%에서 52.4%로 상승하였다.
• 이 방법은 하이퍼파rameter 변화에 뛰어난 내성성을 보였으며, β(0.4–1.4), G(그룹 수), α(전파 비율 > 0.5)의 넓은 범위에서 성능이 안정적으로 유지되었다.
• 이 프레임워크는 S3DIS 및 ShapeNet 양쪽에서 인스턴스 및 시맨틱 세그멘테이션을 동시에 향상시키며, 기준 모델 대비 뚜렷한 성능 향상을 보였다.
• Self-Prediction 헤드는 배포 시 제거되기 때문에 추론 비용이 전혀 발생하지 않아 실생활 응용에 실용적이다.