[논문 리뷰] Divide and Conquer: 3D Point Cloud Instance Segmentation With Point-Wise Binarization

Weiguang Zhao, Yuyao Yan외 4명|arXiv (Cornell University)|2022. 07. 22.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

이 논문은 포인트별 이元화(point-wise binarization)를 사용하여 인접한 물체를 클래스별로 분리하는 새로운 3D 포인트 클라우드 인스턴스 세그멘테이션 프레임워크 PBNet을 제안한다. 포인트를 고밀도(HPs) 및 저밀도(LPs) 그룹으로 분류함으로써, HPs를 먼저 군집화하여 겹치는 인스턴스를 해결하고, 이웃 투표를 통해 LPs를 할당함으로써 뛰어난 성능을 달성하였으며, ScanNetV2 벤치마크에서 mAP 54.3으로 1위를 기록하였다.

ABSTRACT

Instance segmentation on point clouds is crucially important for 3D scene understanding. Most SOTAs adopt distance clustering, which is typically effective but does not perform well in segmenting adjacent objects with the same semantic label (especially when they share neighboring points). Due to the uneven distribution of offset points, these existing methods can hardly cluster all instance points. To this end, we design a novel divide-and-conquer strategy named PBNet that binarizes each point and clusters them separately to segment instances. Our binary clustering divides offset instance points into two categories: high and low density points (HPs vs. LPs). Adjacent objects can be clearly separated by removing LPs, and then be completed and refined by assigning LPs via a neighbor voting method. To suppress potential over-segmentation, we propose to construct local scenes with the weight mask for each instance. As a plug-in, the proposed binary clustering can replace traditional distance clustering and lead to consistent performance gains on many mainstream baselines. A series of experiments on ScanNetV2 and S3DIS datasets indicate the superiority of our model. In particular, PBNet ranks first on the ScanNetV2 official benchmark challenge, achieving the highest mAP. Code will be available publicly at https://github.com/weiguangzhao/PBNet.

연구 동기 및 목표

• 같은 의미 레이블을 가진 인접한 3D 물체가 인접한 포인트를 공유하는 문제를 해결하기 위해 기존의 거리 기반 군집화 방법의 한계를 극복한다.
• 기존 방법에서 불균형한 오프셋 포인트 분포로 인한 완전하지 않은 인스턴스 군집화 문제를 해결한다.
• 기본 아키텍처를 대체하지 않고도 여러 주요 베이스라인에서 성능 향상을 이끌 수 있는 플러그인 호환 이진 군집 전략을 개발한다.
• 로컬 장면 메커니즘과 웨이트 마스크를 통해 소파나 테이블과 같은 큰 물체에서의 과도한 세분화를 억제한다.
• 최소한의 하이퍼파라미터 민감도로 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 로컬 포인트 밀도를 기반으로 오프셋 브랜치의 각 포인트를 고밀도(HP) 또는 저밀도(LP) 포인트로 이원화하여 인접한 인스턴스를 분리한다.
• 동일한 의미 레이블을 가진 겹치는 인스턴스를 해결하기 위해 거리 기반 그룹화 전략을 사용해 HPs를 먼저 군집화한다.
• 이웃 HP들의 특징을 활용한 이웃 투표 메커니즘을 통해 LPs를 할당함으로써 불완전한 인스턴스를 재구성하고 개선한다.
• 각 예측 인스턴스 주변에 주변 인스턴스를 탐색하여 로컬 장면을 구성함으로써 맥락 인식 능력을 향상시킨다.
• 글로벌 특징과 로컬 장면 인코딩을 사용해 인스턴스별 웨이트 마스크를 생성하여 네트워크가 주요 물체에 집중하도록 이끈다.
• 글로벌 특징과 개선된 로컬 특징을 조합하여 최종 인스턴스 마스크를 예측하며, 세그멘테이션 품질을 최적화하기 위해 마스크 손실을 적용한다.

실험 결과

연구 질문

• RQ1 같은 의미 레이블을 가진 인접한 3D 인스턴스의 분리에 있어 포인트별로 고밀도 및 저밀도 포인트로의 이원화가 성능 향상에 기여하는가?
• RQ2 희박하거나 불균형한 오프셋 포인트로 인해 불완전해진 인스턴스 군집을 보완하기 위해 저밀도 포인트에 대한 이웃 투표가 효과적인가?
• RQ3 웨이트 마스크를 갖춘 로컬 장면 메커니즘이 소파나 테이블과 같은 큰 물체에서의 과도한 세분화를 억제할 수 있는가?
• RQ4 제안된 이진 군집 전략이 기존 최신 기술 수준의 베이스라인에서 플러그인처럼 적용되어 성능 향상에 기여할 수 있는가?
• RQ5 이 방법은 하이퍼파라미터에 얼마나 민감한가? 그리고 최소한의 튜닝으로도 안정성을 유지할 수 있는가?

주요 결과

• PBNet은 공식 ScanNetV2 벤치마크에서 mAP 54.3을 기록하여 평가된 모든 방법 중 1위를 달성하였다.
• 절단 실험 결과, 제안된 마스크 손실은 베이스라인 대비 mAP를 7.7% 향상시키고 AP50를 3.2% 향상시켰다.
• LPs에 대한 이웃 투표 메커니즘은 투표 없이 베이스라인 대비 mAP를 2.6%p 향상시켰다.
• 웨이트 마스크를 갖춘 로컬 장면 메커니즘은 개선 없이 베이스라인 대비 mAP를 4.3%p 향상시켰다.
• 이 방법은 오직 세 개의 하이퍼파라미터(rd, dθ, K)만 도입하여 이전 최신 기술 수준 방법보다 경험적으로 안정적이고 민감도가 낮았다.
• HAIS 대비 150–250ms의 지연 증가가 있었음에도 불구하고, PBNet은 상당한 mAP 향상을 달성하여 정확도가 중요한 응용 분야에서는 이점이 있다.