[논문 리뷰] SGPN: Similarity Group Proposal Network for 3D Point Cloud Instance Segmentation

Weiyue Wang, Ronald Yu외 2명|arXiv (Cornell University)|2017. 11. 23.

3D Shape Modeling and Analysis참고 문헌 54인용 수 7

한 줄 요약

SGPN은 쌍별 점 관계를 표현하는 유사도 행렬을 사용하여 3D 포인트 클라우드의 인스턴스 세그멘테이션을 위한 새로운 딥러닝 프레임워크를 제안한다. 이는 엔드 투 엔드 예측을 가능하게 하여 그룹 제안, 신뢰도 점수, 의미적 레이블을 동시에 제공한다. ShapeNet, S3DIS, ScanNet에서 최신 기술 수준의 성능을 달성하였으며, IoU=0.25 조건에서 ScanNet에서 mAP 35.1%를 기록하고, 2D CNN 특징을 융합함으로써 3D 검출 및 의미 세그멘테이션 성능 향상에도 기여한다.

ABSTRACT

We introduce Similarity Group Proposal Network (SGPN), a simple and intuitive deep learning framework for 3D object instance segmentation on point clouds. SGPN uses a single network to predict point grouping proposals and a corresponding semantic class for each proposal, from which we can directly extract instance segmentation results. Important to the effectiveness of SGPN is its novel representation of 3D instance segmentation results in the form of a similarity matrix that indicates the similarity between each pair of points in embedded feature space, thus producing an accurate grouping proposal for each point. To the best of our knowledge, SGPN is the first framework to learn 3D instance-aware semantic segmentation on point clouds. Experimental results on various 3D scenes show the effectiveness of our method on 3D instance segmentation, and we also evaluate the capability of SGPN to improve 3D object detection and semantic segmentation results. We also demonstrate its flexibility by seamlessly incorporating 2D CNN features into the framework to boost performance.

연구 동기 및 목표

• 2D 인스턴스 세그멘테이션 방법의 직관적 설계를 반영하면서도 단순하고 유연하며 효과적인 3D 인스턴스 세그멘테이션을 위한 딥러닝 프레임워크를 개발한다.
• 특징 공간 내 점 간 관계를 포괄하는 새로운 유사도 행렬 표현을 도입함으로써 3D 인스턴스 세그멘테이션을 위한 엔드 투 엔드 학습 가능한 프레임워크의 부족을 해결한다.
• 후처리 없이 단일 네트워크에서 인스턴스 그룹화, 의미적 레이블, 신뢰도 점수를 직접 예측할 수 있도록 한다.
• 최소한의 아키텍처 수정으로도 동일한 프레임워크를 활용해 3D 객체 검출 및 의미 세그멘테이션 성능을 향상시킨다.
• RGBD 이미지에서 유도된 2D CNN 특징을 간편하게 통합함으로써 프레임워크의 유연성을 입증한다.

제안 방법

• 원시 3D 포인트 클라우드로부터 각 점의 특징 임bedding을 PointNet/PointNet++를 사용해 추출한다.
• 모든 쌍별 특징 벡터 간 코사인 또는 L2 거리를 계산하여 유사도 행렬을 구성하며, 높은 유사도는 동일한 인스턴스에 속함을 의미한다.
• 유사도 행렬의 각 행은 후보 인스턴스 제안을 나타내며, 저품질 제안을 걸러내기 위해 학습된 신뢰도 맵을 통해 신뢰도 점수를 예측한다.
• 각 점에 대해 별도의 브랜치를 통해 의미 세그멘테이션 레이블을 예측하고, 각 그룹 제안에 클래스 레이블을 할당한다.
• 최소한의 후처리를 통해 그룹 제안에서 직접 타이트한 3D 경계 상자(박스)를 유도한다.
• 포인트 특징에 2D CNN 특징을 연결함으로써 RGBD 이미지에서 유도된 2D 특징을 통합할 수 있으며, 아키텍처의 대대적 개편 없이 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 유사도 학습 기반의 통합된 딥러닝 프레임워크가 포인트 클라우드에서 최신 기술 수준의 3D 인스턴스 세그멘테이션을 달성할 수 있는가?
• RQ2 유사도 행렬 표현이 점 간 관계를 모델링하여 객체 인스턴스로 점을 군집화하는 데 얼마나 효과적인가?
• RQ3 SGPN은 공유 특징 학습을 통해 3D 객체 검출 및 의미 세그멘테이션 성능를 얼마나 향상시킬 수 있는가?
• RQ4 RGBD 데이터에서 유도된 2D CNN 특징의 통합이 SGPN의 3D 인스턴스 세그멘테이션 성능 향상에 얼마나 기여하는가?
• RQ5 SGPN은 실내 환경과 합성 형태를 포함한 다양한 3D 데이터셋에 대해 일반화 가능한가?

주요 결과

• SGPN은 IoU 임계값 0.25 조건에서 ScanNet 데이터셋에서 mAP 35.1%를 기록하며, 베이스라인인 Seg-Cluster 방법을 능가한다.
• S3DIS 데이터셋에서 SGPN은 인스턴스 세그멘테이션에 대해 35.1% mAP를 달성하여 다양한 실내 환경 유형 간 강력한 일반화 능력을 입증한다.
• 최소한의 후처리로 그룹 제안에서 직접 타이트한 3D 경계 상자를 생성함으로써 3D 객체 검출 성능가 향상된다.
• 인스턴스 군집화와 클래스 예측의 공동 학습을 통해 의미 세그멘테이션 정확도가 향상되었으며, 평가된 모든 데이터셋에서 일관된 향상이 관찰되었다.
• RGBD 이미지에서 유도된 2D CNN 특징을 통합함으로써 성능 향상이 측정되었으며, 이는 프레임워크의 유연성과 확장성의 증거로 확인된다.
• 블록 병합 알고리즘이 겹치는 블록들로부터 전체 시나리오의 인스턴스 레이블을 성공적으로 재구성하였으며, 높은 일관성과 레이블 분할 최소화를 달성했다.