[논문 리뷰] PointGroup: Dual-Set Point Grouping for 3D Instance Segmentation

Li Jiang, Hengshuang Zhao외 4명|arXiv (Cornell University)|2020. 04. 03.

3D Shape Modeling and Analysis참고 문헌 57인용 수 32

한 줄 요약

PointGroup은 시맨틱 레이블과 포인트별 오프셋을 사용하여 포인트를 두 개의 좌표 집합(원래 좌표 및 오프셋-이동 좌표)으로 묶고, 고품질 클러스터를 선택하는 ScoreNet을 활용하는 바텀-업 방식의 3D 인스턴스 분할 프레임워크를 도입하여 ScanNet v2 및 S3DIS에서 최첨단 결과를 달성합니다.

ABSTRACT

Instance segmentation is an important task for scene understanding. Compared to the fully-developed 2D, 3D instance segmentation for point clouds have much room to improve. In this paper, we present PointGroup, a new end-to-end bottom-up architecture, specifically focused on better grouping the points by exploring the void space between objects. We design a two-branch network to extract point features and predict semantic labels and offsets, for shifting each point towards its respective instance centroid. A clustering component is followed to utilize both the original and offset-shifted point coordinate sets, taking advantage of their complementary strength. Further, we formulate the ScoreNet to evaluate the candidate instances, followed by the Non-Maximum Suppression (NMS) to remove duplicates. We conduct extensive experiments on two challenging datasets, ScanNet v2 and S3DIS, on which our method achieves the highest performance, 63.6% and 64.0%, compared to 54.9% and 54.4% achieved by former best solutions in terms of mAP with IoU threshold 0.5.

연구 동기 및 목표

• 포인트 클라우드에서 물체 간의 빈 공간을 활용하여 정확한 3D 인스턴스 분할을 목표로 삼습니다.
• 포인트별 시맨틱 레이블과 중심점 지향 오프셋을 함께 예측하는 바텀-업 아키텍처를 개발합니다.
• 인스턴스 간 구분을 개선하기 위해 이중 세트 클러스터링(원래 포인트와 오프셋-이동 포인트)을 제안합니다. 특히 서로 밀집한 물체들에 대해.
• NMS 이전에 고품질 클러스터를 평가하고 선택하기 위해 ScoreNet을 도입합니다.
• ScanNet v2 및 S3DIS 데이터셋에서 최첨단 성능을 입증합니다.

제안 방법

• 두 가지 가지 분기 백본이 포인트별 시맨틱 레이블과 중심 오프셋을 생성합니다.
• 예측된 오프셋을 사용해 포인트를 해당 인스턴스 중심으로 이동시키고 이동 좌표 집합을 형성합니다.
• 원래 좌표 집합(P)과 이동된 좌표 집합(Q) 모두에서 클러스터링을 수행하여 C^p 및 C^q를 형성한 후 C = C^p ∪ C^q로 병합합니다.
• ScoreNet은 클러스터 특징을 인코딩하고 각 클러스터 제안에 대한 점수를 출력합니다.
• ScoreNet 점수는 소프트 IoU 기반 타깃으로 학습되어 클러스터 품질을 반영하고 최종 예측을 위한 NMS를 안내합니다.
• L = L_sem + L_o_dir + L_o_reg + L_c_score를 최적화하는 엔드-투-엔드 학습.

실험 결과

연구 질문

• RQ1 물체 간의 빈 공간을 활용하여 3D 포인트 클라우드 인스턴스 분할을 어떻게 개선할 수 있을까요?
• RQ2 이중 좌표 클러스터링 접근법(원래 포인트와 오프셋-이동 포인트)이 인접한 인스턴스를 구분하는 데 있어 단일 좌표 클러스터링보다 더 나은 성능을 보일 수 있을까요?
• RQ3 학습된 클러스터 스코어링 모듈(ScoreNet)이 NMS를 위한 고품질 인스턴스 제안의 선택을 개선합니까?
• RQ4 원래 좌표 클러스터링과 이동된 좌표 클러스터링의 결합이 표준 3D 인스턴스 분할 벤치마크에 미치는 영향은 무엇입니까?

주요 결과

• PointGroup는 ScanNet v2 테스트에서 63.6% mAP50를 달성하여 이전 최고보다 8.7% 포인트 높은 성능을 보였습니다.
• S3DIS에서 PointGroup은 64.0% mAP50, 69.6% mPrec50, 그리고 69.2% mRec50를 달성하여 이전 방법들보다 큰 차이로 앞섰습니다.
• 비종속 실험은 이중세트 클러스터링(P 및 Q)이 P-단독 또는 Q-단독 변형보다 최고 성능을 낸다는 것을 보여줍니다.
• 클러스터링 반경 r과 ScoreNet이 성능에 크게 기여하며, 두 좌표 세트와 ScoreNet의 조합이 최상의 결과를 제공합니다.
• PointGroup은 ScanNet v2의 다수 클래스를 대부분 1위를 차지하고 다수의 지표에서 S3DIS에서 최첨단 결과를 달성합니다.