[논문 리뷰] Point Cloud Instance Segmentation using Probabilistic Embeddings

Biao Zhang, Peter Wonka|arXiv (Cornell University)|2019. 11. 30.

3D Shape Modeling and Analysis참고 문헌 40인용 수 12

한 줄 요약

이 논문은 3D 포인트 클라우드 인스턴스 세그멘테이션을 위한 새로운 확률적 임베딩 프레임워크를 제안하며, 각 포인트를 불확실성을 모델링할 수 있는 삼변량 정규분포로 표현한다. 중심 인식 클러스터링 손실을 도입하고 축 및 포인트에 따라 달라지는 불확실성을 활용함으로써, PartNet 데이터셋에서 카테고리별 평균 mAP가 3.1%p 향상되어 세분화된 인스턴스 세그멘테이션 분야에서 새로운 SOTA를 수립한다.

ABSTRACT

In this paper we propose a new framework for point cloud instance segmentation. Our framework has two steps: an embedding step and a clustering step. In the embedding step, our main contribution is to propose a probabilistic embedding space for point cloud embedding. Specifically, each point is represented as a tri-variate normal distribution. In the clustering step, we propose a novel loss function, which benefits both the semantic segmentation and the clustering. Our experimental results show important improvements to the SOTA, i.e., 3.1% increased average per-category mAP on the PartNet dataset.

연구 동기 및 목표

• 3D 포인트 클라우드에서의 인스턴스 세그멘테이션에 대한 탐색이 제한되어 있는 문제를 해결하기 위해, 특히 세분화된 부품 수준의 세그멘테이션에 초점을 맞춘다.
• 결정론적 표현을 넘어서 포인트 임베딩의 불확실성을 모델링하여 세그멘테이션 정확도를 향상시키기 위해 불확실성을 고려한 방법을 제안한다.
• 정신적 세그멘테이션과 인스턴스 클러스터링 성능을 모두 향상시키는 데 기여하는 클러스터링 손실을 설계한다.
• 확률적 임베딩이 3D 또는 6D 결정론적 임베딩보다 3D 인스턴스 세그멘테이션에서 우월함을 입증한다.

제안 방법

• 각 포인트는 평균 벡터와 공분산 행렬을 갖는 삼변량 정규분포로 표현되어 포인트 및 축에 따라 달라지는 불확실성을 모델링할 수 있다.
• 임베딩 공간은 이방향성이고 이방편성(비균일 분산)인 가우시안을 사용하여 방향성 불확실성을 포착함으로써 물체 경계에서의 강건성을 향상시킨다.
• 새로운 중심 인식 손실 함수를 도입하여 클러스터링을 이끄는데, 임베딩이 인스턴스 중심 주변으로 군집되도록 유도하면서도 의미적 일관성을 유지한다.
• 기존의 임베딩 기반 인스턴스 세그멘테이션 파이프라인에 확률적 임베딩을 통합하여, PointNet++과 같은 표준 백본과의 호환성을 유지한다.
• 임베딩 간 유사도는 평균과 공분산을 모두 고려하는 확률적 커널을 사용해 계산되며, 겹치는 인스턴스 간의 더 나은 분리가 가능해진다.
• 정신적 교차엔트로피와 제안된 클러스터링 손실을 조합한 복합 손실을 사용해 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 포인트 클라우드 임베딩에서의 불확실성을 모델링하면 인스턴스 세그멘테이션 성능이 향상되는가?
• RQ2 축 및 포인트에 따라 달라지는 불확실성을 고려한 확률적 임베딩 공간이 결정론적 3D 또는 6D 임베딩보다 우월한가?
• RQ3 중심 인식 클러스터링 손실은 표준 MSE 기반 손실과 비교해 강건성과 정확도 면에서 어떻게 다를까?
• RQ4 세분화된 카테고리와 높은 인스턴스 밀도를 가진 영역에서도 확률적 임베딩이 일반화 가능한가?

주요 결과

• 제안된 방법은 PartNet 데이터셋에서 카테고리별 평균 mAP가 3.1%p 향상되어 새로운 SOTA를 달성하였다.
• 이방향성이고 이방편성인 확률적 임베딩 변형이 6D 결정론적 임베딩을 포함한 모든 베이스라인보다 유의미한 격차로 우월했다.
• 학습된 불확실성은 물체 경계에서 가장 높게 나타나, 모델이 기하학적 모호성을 효과적으로 포착하고 있음을 시사한다.
• 중심 인식 손실은 대규모 세분화된 카테고리에서 성능을 5.2%p 향상시키며 분산을 감소시켜 더 뛰어난 안정성을 보였다.
• 정성적 결과에서는 확률적 임베딩이 더 강한 기하학적 변형을 생성하여 인스턴스 클러스터 간 분리가 더 잘 이루어지는 것으로 나타났다.
• 전체 모델은 AllAvg 스플릿에서 57.5%의 mAP를 기록하였으며, 이는 이전 SOTA 대비 2.5%p 향상된 성능이며, 가장 도전적인 세분화된 카테고리 서브셋에선 10.7%p 향상되었다.