[논문 리뷰] Learning Gaussian Instance Segmentation in Point Clouds

Shih‐Hung Liu, Shangyi Yu외 3명|arXiv (Cornell University)|2020. 07. 20.

3D Shape Modeling and Analysis참고 문헌 36인용 수 36

한 줄 요약

GICN은 Gaussian center heatmaps를 학습하여 3D 포인트 클라우드에서 인스턴스 중심을 찾고, 한 단계의, anchor-free 파이프라인에서 사이즈, 박스, 마스크를 예측하여 ScanNet과 S3DIS에서 최첨단 성능을 달성합니다.

ABSTRACT

This paper presents a novel method for instance segmentation of 3D point clouds. The proposed method is called Gaussian Instance Center Network (GICN), which can approximate the distributions of instance centers scattered in the whole scene as Gaussian center heatmaps. Based on the predicted heatmaps, a small number of center candidates can be easily selected for the subsequent predictions with efficiency, including i) predicting the instance size of each center to decide a range for extracting features, ii) generating bounding boxes for centers, and iii) producing the final instance masks. GICN is a single-stage, anchor-free, and end-to-end architecture that is easy to train and efficient to perform inference. Benefited from the center-dictated mechanism with adaptive instance size selection, our method achieves state-of-the-art performance in the task of 3D instance segmentation on ScanNet and S3DIS datasets.

연구 동기 및 목표

• 사전에 정의된 앵커나 박스 제안 없이 포인트 클라우드에서 직접 3D 인스턴스 분할을 추진한다.
• 센터 전용이고 크기를 고려한 프레임워크를 도입하여 인스턴스 중심, 크기, 박스 및 마스크를 예측한다.
• Gaussian center heatmaps를 활용하여 직관적인 시각화와 효율적인 중심 선택을 가능하게 한다.
• 학습 안정성과 추론 효율성을 향상시키기 위한 엔드-투-엔드 학습을 가능하게 한다.

제안 방법

• 전체 장면에 걸쳐 인스턴스 중심을 나타내는 Gaussian center heatmaps를 예측한다.
• 중복된 중심을 피하는 중심 선택 메커니즘을 사용하여 작은 수의 중심 후보를 선택한다.
• 중심에 대한 인스턴스 크기를 예측하여 특징 추출을 위한 적응적 이웃 영역을 결정한다.
• 크기 인지 맥락과 공유 백본을 사용하여 각 중심에 대한 3D 바운딩 박스를 예측한다.
• 예측된 바운딩 박스에 정렬된 인스턴스 마스크를 공동 마스크 네트워크를 사용해 예측한다.
• 센터, 크기, IoU (GIoU), 및 마스크 손실을 포함하는 다항 항 손실로 학습한다.

실험 결과

연구 질문

• RQ1 Gaussian center heatmaps가 3D 포인트 클라우드에서 인스턴스 중심을 효과적으로 표현할 수 있는가?
• RQ2 센터 주도형, 크기 인식 파이프라인이 앵커 기반 또는 제안 기반 방법보다 3D 인스턴스 분할을 향상시키는가?
• RQ3 센터 선택이 바운딩 박스 및 마스크 예측과 어떻게 상호 작용하여 정확한 인스턴스를 생성하는가?
• RQ4 크기 인지 이웃 추출 및 엔드 투 엔드 학습으로 어떤 정확도와 효율성 이득이 발생하는가?

주요 결과

방법	mPrec (%)	mRec (%)
ASIS	63.6	47.5
3D-BoNet	65.6	47.6
3D-BEVIS	65.6	n/a
GICN (ours)	68.5	50.8

• GICN은 S3DIS에서 IoU 0.5로 68.5% mPrec 및 50.8% mRec를 달성하여 ASIS, 3D-BoNet, 3D-BEVIS를 능가한다.
• ScanNet v2에서 제출 시점의 공개 방법들 중 가장 높은 mean AP@50%를 달성한다.
• Center heatmaps는 실제 중심 분포를 근접하게 근사하고 효과적인 중심 후보 선택을 가능하게 한다.
• 크기 인식 바운딩 박스 예측과 엔드-투-엔드 학습이 강력한 3D 인스턴스 분할 성능에 기여한다.
• center prediction, focal loss, 또는 semantic radius priors를 제거하면 유의미한 저하가 나타나 그 중요성을 입증한다.