[논문 리뷰] GSPN: Generative Shape Proposal Network for 3D Instance Segmentation in Point Cloud

Li Yi, Wang Zhao외 3명|arXiv (Cornell University)|2018. 12. 08.

3D Shape Modeling and Analysis참고 문헌 7인용 수 36

한 줄 요약

GSPN은 노이즈가 있는 포인트 클라우드 관측치에서 형상을 재구성함으로써 객체성( objectness)을 향상시키는 분석-합성 전략을 사용하는 3D 인스턴스 세그멘테이션을 위한 생성형 형상 제안 네트워크를 제안한다. Region-based PointNet (R-PointNet) 프레임워크에 통합된 GSPN은 기하학적 이해와 인스턴스 인식 특징 학습에 중점을 두어 여러 3D 인스턴스 세그멘테이션 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We introduce a novel 3D object proposal approach named Generative Shape Proposal Network (GSPN) for instance segmentation in point cloud data. Instead of treating object proposal as a direct bounding box regression problem, we take an analysis-by-synthesis strategy and generate proposals by reconstructing shapes from noisy observations in a scene. We incorporate GSPN into a novel 3D instance segmentation framework named Region-based PointNet (R-PointNet) which allows flexible proposal refinement and instance segmentation generation. We achieve state-of-the-art performance on several 3D instance segmentation tasks. The success of GSPN largely comes from its emphasis on geometric understandings during object proposal, which greatly reducing proposals with low objectness.

연구 동기 및 목표

• 기존 방법들이 기하학적 이해 부족으로 인해 3D 객체 제안에서 낮은 객체성 문제를 해결하기 위해.
• 불완전하고 노이즈가 많으며 다양한 포인트 클라우드 입력을 효과적으로 처리할 수 있는 3D 인스턴스 세그멘테이션 프레임워크를 개발하기 위해.
• 직접 경계 상자 회귀 대신 생성형 재구성 방식을 통해 천연 객체 분포를 모델링함으로써 제안 품질을 향상시키기 위해.
• 완전한 시나리오, 부분 시야, 미세한 부위 인스턴스를 모두 처리할 수 있는 유연한 프레임워크를 설계하기 위해.
• 3D 인스턴스 세그멘테이션에서 인스턴스 인식 특징과 의미적 사전 지식의 중요성을 검증하기 위해.

제안 방법

• GSPN은 시드 포인트 주변의 다중 척도적 맥락 특징에서 형상을 재구성함으로써 조건부 변동성 오토에인드어(Conditional Variational Autoencoder, CVAE)를 사용해 3D 객체 제안을 생성한다.
• 네트워크는 생성 과정을 정규화하기 위해 객체 중심 좌표를 명시적으로 예측함으로써 공유 잠재 공간 내에서 더 나은 형상 재구성 가능성을 확보한다.
• 다중 척도 맥락 인코더는 국소 기하학적 특징과 의미적 단서를 캡처하여 노이즈 및 부분 관측에 대한 강건성을 향상시킨다.
• 제안된 Region-based PointNet (R-PointNet) 프레임워크는 GSPN을 제안 생성에 통합하고, 이후 인스턴스 민감한 특징을 사용해 정밀화 및 마스크 예측을 수행한다.
• 이 프레임워크는 인스턴스 민감한 맥락 특징 $f_{\hat{c}}$ 와 의미 특징 $f_{sem}$ 을 조합한 하이브리드 특징 백본을 사용하며, 의미 세그멘테이션에서의 사전 훈련을 통해 성능을 향상시킨다.
• 평가에서는 형상 품질에 대해 Chamfer Distance (CD) 와 제안 품질에 대해 평균 교차율(mIoU)을 사용한다.

실험 결과

연구 질문

• RQ1 기하학적 이해에 중점을 두는 분석-합성 접근 방식이 형상 재구성 기반으로 3D 객체 제안 품질을 향상시킬 수 있는가?
• RQ2 노이즈가 있는 관측치에서 형상 재구성 방식이 3D 경계 상자 직접 회귀 방식보다 객체성과 세그멘테이션 정확도 측면에서 어떻게 성능을 냈는가?
• RQ3 다중 척도 맥락, 중심 예측, CVAE 설계가 제안 생성 품질에 어떤 영향을 미치는가?
• RQ4 인스턴스 민감한 특징과 의미 특징은 R-PointNet의 최종 세그멘테이션 성능에 어떻게 기여하는가?
• RQ5 제안된 프레임워크는 완전한 시나리오, 부분 시야, 부위 수준의 인스턴스를 포함한 다양한 3D 포인트 클라우드 입력에 대해 일반화 가능한가?

주요 결과

• GSPN은 Chamfer Distance (CD) 0.0450과 mIoU 0.581을 기록하여, E-D(Ablation: CD: 0.0532, mIoU: 0.408), 단일 척도 맥락(Ablation: CD: 0.0524, mIoU: 0.486), 중심 예측 없음(Ablation: CD: 0.0571, mIoU: 0.409)과 비교해 우수한 성능을 보였다.
• 인스턴스 민감한 맥락 특징 $f_{\hat{c}}$ 를 제거하면 mAP가 0.178로 감소하고, 의미 특징 $f_{sem}$ 을 제거하면 0.161로 감소하여 두 특징이 상호 보완적인 역할을 한다는 것을 입증했다.
• 의미 특징의 사전 훈련 없이 엔드 투 엔드 훈련을 수행할 경우 성능 저하가 발생하여 mAP가 0.180으로 감소하였으며, 이는 사전 훈련의 유용성을 확인한다.
• ScanNet, PartNet, NYUv2 벤치마크에서 GSPN은 최신 기술 수준의 성능을 달성하였으며, ScanNet에서 mAP 0.191과 AP@0.5 0.376를 기록했다.
• 시각화 결과 GSPN은 다중 객체나 부분 인스턴스를 포함하지 않는 고품질의 객체 집중형 제안을 생성한다는 것이 확인되었다.
• Ablation 연구를 통해 CVAE와 다중 척도 맥락, 중심 예측이 고품질의 형상 생성과 제안 품질에 필수적임을 입증했다.