[논문 리뷰] Associatively Segmenting Instances and Semantics in Point Clouds

Xinlong Wang, Shu Liu외 3명|arXiv (Cornell University)|2019. 02. 26.

3D Shape Modeling and Analysis참고 문헌 35인용 수 34

한 줄 요약

ASIS는 의미 인식 인스턴스 임베딩과 인스턴스 융합 의미 특징을 활용하여 3D 포인트 클라우드에서 인스턴스 분할과 의미 분할을 공동으로 수행하고, 두 작업을 상호 개선하는 엔드 투 엔드 프레임워크를 도입합니다.

ABSTRACT

A 3D point cloud describes the real scene precisely and intuitively.To date how to segment diversified elements in such an informative 3D scene is rarely discussed. In this paper, we first introduce a simple and flexible framework to segment instances and semantics in point clouds simultaneously. Then, we propose two approaches which make the two tasks take advantage of each other, leading to a win-win situation. Specifically, we make instance segmentation benefit from semantic segmentation through learning semantic-aware point-level instance embedding. Meanwhile, semantic features of the points belonging to the same instance are fused together to make more accurate per-point semantic predictions. Our method largely outperforms the state-of-the-art method in 3D instance segmentation along with a significant improvement in 3D semantic segmentation. Code has been made available at: https://github.com/WXinlong/ASIS.

연구 동기 및 목표

• 3D 포인트 클라우드에서 인스턴스 분할과 의미 분할의 공동 처리가 부족한 문제를 동기 부여하고 해결합니다.
• 점별 의미 예측과 점 수준 인스턴스 임베딩을 공동으로 학습하는 간단한 베이스라인을 제안합니다.
• 의미 인식 인스턴스 임베딩과 인스턴스 융합 의미 분할을 가능하게 하는 ASIS를 도입합니다.
• 다양한 백본(PointNet 및 PointNet++)에서 S3DIS 및 ShapeNet 데이터셋에서 성능 향상을 시연합니다.

제안 방법

• 점별 의미 예측과 점별 인스턴스 임베딩을 위한 두 개의 평행 디코더를 갖춘 간단한 공유 인코더.
• 인스턴스 간 임베딩을 같은 인스턴스 내로 모으고 서로 다른 인스턴스를 멀리 떨어뜨리도록 하는 분류에 의존하지 않는 판별적 인스턴스 손실(var, dist, reg)을 통해.
• ASIS를 통한 상호 보조: 의미 특징이 인스턴스 특징 공간으로 매핑되어 의미 인식 인스턴스 특징(SA)을 생성하고, 이는 인스턴스 분할에 도움을 준다.
• 인스턴스 융합 의미 분할(IF)은 인스턴스 임베딩 공간에서 kNN을 사용해 같은 인스턴스 내 이웃 점들로부터 의미 특징을 모아 점별 의미를 다듬는다.
• 의미 인식 인스턴스와 인스턴스 융합 의미 가지들을 엔드투엔드로 학습시켜 의미 분할과 인스턴스 분할 성능을 모두 향상시킨다.

실험 결과

연구 질문

• RQ1 3D 포인트 클라우드에서 인스턴스 분할과 의미 분할을 어떻게 공동으로 학습할 수 있는가?
• RQ2 공유 프레임워크에서 의미 특징이 인스턴스 임베딩을 개선하고 그 역도 가능한가?
• RQ3 의미 인식 임베딩과 인스턴스 융합이 S3DIS, ShapeNet 같은 벤치마크에서 점별 의미와 인스턴스 구분을 모두 개선하는가?
• RQ4 ASIS 프레이임워크가 서로 다른 백본(PointNet, PointNet++)과 호환되는가?
• RQ5 의미 인식성과 인스턴스 융합이 전체 성능 향상에 기여하는 바는 무엇인가?

주요 결과

• ASIS는 S3DIS에서 단순 베이스라인보다 3D 인스턴스 분할과 의미 분할을 지속적으로 개선합니다.
• 의미 인식(SA)과 인스턴스 융합(IF)은 상호 보완적 이득을 제공하며, 결합될 때 더 큰 개선을 보입니다.
• ASIS는 인스턴스 분할에서 평균 가중 커버리지(mWCov)와 평균 정확도(mPrec), 의미 분할에서 mIoU와 mAcc에 주목할 만한 이득을 제공합니다.
• 프레임워크는 PointNet 및 PointNet++ 백본과 호환되어 아키텍처 전반에 걸쳐 견고한 개선을 보여줍니다.
• ASIS는 일부 기존 방법(SGPN 등)보다 더 빠른 그룹화 기반 추론을 달성하면서도 경쟁력 있는 또는 더 높은 정확성을 제공합니다.
• ShapeNet에서 ASIS는 파트 분할 의미에서도 이점을 보여 주며, 핵심 3D 장면 이해를 넘어 일반성을 시사합니다.