[논문 리뷰] Towards Accurate Instance Segmentation in Large-Scale Lidar Point Clouds

Binbin Xiang, Torben Peters외 5명|arXiv (Cornell University)|2023. 01. 01.

Remote Sensing and LiDAR Applications인용 수 3

한 줄 요약

이 논문은 대규모 3D LiDAR 포인트 클라우드에서 밀도가 높거나 겹치는 물체의 인스턴스 세분화를 향상시키기 위해 3D 중심점 오프셋 예측과 분별성 포인트 임베딩을 조합한 바텀업 패ノ픽 세그멘테이션 파이프라인을 제안한다. 이 방법은 도시 환경의 NPM3D에서 F1 스코어 74.3%와 밀도 높은 숲 환경의 FOR-instance 데이터에서 68.9%를 기록하며, 특히 후자의 경우 PointGroup보다 17个百分点 이상 뛰어난 성능을 보였다.

ABSTRACT

Panoptic segmentation is the combination of semantic and instance segmentation: assign the points in a 3D point cloud to semantic categories and partition them into distinct object instances. It has many obvious applications for outdoor scene understanding, from city mapping to forest management. Existing methods struggle to segment nearby instances of the same semantic category, like adjacent pieces of street furniture or neighbouring trees, which limits their usability for inventory- or management-type applications that rely on object instances. This study explores the steps of the panoptic segmentation pipeline concerned with clustering points into object instances, with the goal to alleviate that bottleneck. We find that a carefully designed clustering strategy, which leverages multiple types of learned point embeddings, significantly improves instance segmentation. Experiments on the NPM3D urban mobile mapping dataset and the FOR-instance forest dataset demonstrate the effectiveness and versatility of the proposed strategy.

연구 동기 및 목표

• 대규모 실외 3D LiDAR 포인트 클라우드에서 가까이 위치하거나 겹치는 물체 인스턴스를 정확하게 세분화하는 과제를 해결한다.
• 특히 인접한 나무나 도시 편의시설과 같이 동일한 의미적 카테고리에 속하는 물체에 대해 인스턴스 세그멘테이션의 한계를 극복한다.
• 지역별 맞춤 조정이나 복잡한 후처리가 필요 없는 강력하고 일반화 가능한 파이프라인을 개발한다.
• 물체 경계가 모호하거나 겹치는 경우가 많은 도시 및 숲 환경에서의 성능을 향상시킨다.
• 클러스터링을 위해 기하학적 신호(오프셋)와 학습된 임베딩을 조합함으로써 서로 다른 인스턴스로 포인트를 분리하는 데 효과적임을 입증한다.

제안 방법

• 처리를 위한 관리 가능한 겹치는 입력 블록으로 대규모 포인트 클라우드를 분할하기 위해 실린더 슬라이딩 윈도우를 사용한다.
• 각 포인트의 특징을 추출하기 위해 3D UNet 백본을 활용하고, 의미 세그멘테이션, 중심점 오프셋 예측, 임베딩 특징 학습을 위한 별도의 분기로 구성한다.
• 이중 분기 클러스터링 전략을 적용: 예측된 3D 중심점 오프셋을 사용해 초기 클러스터를 정밀화하고, 학습된 분별성 임베딩을 활용해 겹치거나 인접한 인스턴스를 분리한다.
• 블록 단위의 추론을 수행하고 인접한 실린더 간 예측을 융합하여 일관성 확보 및 인스턴스 분할 방지한다.
• 비최대 억제(NMS)와 ScoreNet 헤드를 적용해 인스턴스 예측을 정밀화하고 세그멘테이션 품질을 향상시킨다.
• 계산 효율성과 공간적 맥락 유지 간 균형을 위해 20–25 cm의 볼록 격자 필터링을 사용한다.

실험 결과

연구 질문

• RQ1 3D 오프셋 예측과 학습된 임베딩을 조합한 하이브리드 클러스터링 전략이 대규모 3D 포인트 클라우드에서 인스턴스 세그멘테이션 성능을 크게 향상시킬 수 있는가?
• RQ2 이중 나무나 도시 편의시설과 같이 동일한 의미 카테고리에 속한 인접 또는 겹치는 인스턴스가 있는 도전적인 상황에서 제안된 방법의 성능은 어떠한가?
• RQ3 다양한 실외 환경에서 강력한 인스턴스 세그멘테이션을 위해 입력 블록 크기(실린더 반지름)와 볼록 해상도의 최적 설정은 무엇인가?
• RQ4 기존 최신 기술 수준의 접근 방식인 PointGroup과 비교해 인스턴스 세그멘테이션 정확도와 데이터셋 간 일반화 능력 측면에서 제안된 방법은 어떤가?
• RQ5 지역별 하이퍼파라미터 조정이나 복잡한 후처리 없이도 이 방법이 얼마나 높은 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 도시 환경의 NPM3D 데이터셋에서 F1 스코어 74.3%를 기록하며 기준 방법들보다 뚜렷하게 뛰어난 성능을 보였다.
• FOR-instance 숲 데이터셋에서는 F1 스코어 68.9%를 기록했으며, PointGroup 대비 17.3个百分点 향상된 성능을 달성했다.
• 20–40 cm 범위 내에서 볼록 크기가 성능에 미치는 영향은 미미하며, 최적의 성능는 20–25 cm에서 달성된다.
• 실린더 반지름을 4m에서 8m로 증가시킴으로써 전체 나무 인스턴스를 더 잘 커버함으로써 인스턴스 세그멘테이션 지표가 향상되었다.
• 오프셋 예측과 분별성 임베딩의 조합은 특히 경계가 흐린 숲 환경에서 인접하거나 겹치는 물체를 강력하게 분리할 수 있도록 했다.
• 지역별 맞춤 조정이나 후처리 없이도 도시 및 숲 데이터셋에서 모두 잘 일반화됨을 입증했으며, 이는 다양한 환경에서의 안정성과 타당성을 보여주었다.