[논문 리뷰] Contrastive Boundary Learning for Point Cloud Segmentation

Liyao Tang, Yibing Zhan외 3명|arXiv (Cornell University)|2022. 03. 10.

3D Surveying and Cultural Heritage인용 수 10

한 줄 요약

이 논문은 다중 척도 대비 최적화를 통해 시점 경계에서의 특징 구분 능력을 향상시켜 3D 포인트 클라우드 세그먼테이션을 향상시키는 새로운 프레임워크인 대비 경계 학습(CBL)을 제안한다. CBL은 다양한 베이스라인과 데이터셋에서 경계 및 총합 세그먼테이션 성능에 일관된 향상을 이끌어내며, Semantic3D와 S3DIS에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Point cloud segmentation is fundamental in understanding 3D environments. However, current 3D point cloud segmentation methods usually perform poorly on scene boundaries, which degenerates the overall segmentation performance. In this paper, we focus on the segmentation of scene boundaries. Accordingly, we first explore metrics to evaluate the segmentation performance on scene boundaries. To address the unsatisfactory performance on boundaries, we then propose a novel contrastive boundary learning (CBL) framework for point cloud segmentation. Specifically, the proposed CBL enhances feature discrimination between points across boundaries by contrasting their representations with the assistance of scene contexts at multiple scales. By applying CBL on three different baseline methods, we experimentally show that CBL consistently improves different baselines and assists them to achieve compelling performance on boundaries, as well as the overall performance, eg in mIoU. The experimental results demonstrate the effectiveness of our method and the importance of boundaries for 3D point cloud segmentation. Code and model will be made publicly available at https://github.com/LiyaoTang/contrastBoundary.

연구 동기 및 목표

• 기존 3D 포인트 클라우드 세그먼테이션 방법이 시점 경계에서 열등한 성능을 보이는 이유를 조사하고 정량화하는 것.
• 현재 사용 중인 메트릭이 경계 특화 세그먼테이션 정확도를 포착하지 못해 경계 관련 한계를 과소 평가하고 있음을 규명하는 것.
• 명시적인 경계 감독 없이도 경계에서의 특징 표현과 세그먼테이션 정확도를 명시적으로 향상시키는 새로운 프레임워크를 제안하는 것.
• 경계 정렬 최적화가 다양한 데이터셋과 아키텍처에서 경계 및 총합 세그먼테이션 성능에 일관된 향상을 이끌어내는지 확인하는 것.

제안 방법

• 다중 척도 맥락을 사용하여 시점 경계를 가로지르는 점들 간의 특징 구분 능력을 극대화하는 대비 학습 목표를 도입한다.
• 포인트 클라우드의 부분 샘플링을 통한 서브-シーン 경계 마이닝을 활용해 다중 공간 척도에서 경계 영역을 식별한다.
• 서브-샘플된 포인트 클러스터로부터 유도된 양성 및 음성 쌍을 사용해 경계 점의 특징 표현에 대해 대비 최적화를 적용한다.
• 기존 3D 세그먼테이션 네트워크(RandLA-Net, ConvNet 등)에 아키텍처 변경 없이 플러그인 모듈로 CBL를 통합한다.
• 다양한 서브-샘플링 수준에서의 특징을 집계하기 위해 다중 척도 헤드를 활용해 경계 인식 특징 학습을 강화한다.
• 경계 세그먼테이션 품질을 전용으로 평가하기 위해 mIoU@boundary와 경계 IoU(B-IoU)를 평가 메트릭으로 활용한다.

실험 결과

연구 질문

• RQ1 현재 3D 포인트 클라우드 세그먼테이션은 총합 성능에 비해 시점 경계에서 어떻게 수행되는가?
• RQ2 mIoU와 같은 표준 메트릭이 경계 세그먼테이션 정확도가 열 劣한 것을 얼마나 잘 반영하지 못하는가?
• RQ3 명시적인 경계 앤오테이션 없이도 대비 학습이 3D 시점 경계에서 특징 구분 능력을 효과적으로 향상시킬 수 있는가?
• RQ4 경계 정렬 최적화가 다양한 모델과 데이터셋에서 경계 및 총합 세그먼테이션 성능에 일관된 향상을 이끌어내는가?
• RQ5 다중 척도 특징 학습과 서브-씬 경계 마이닝이 전체 성능 향상에 기여하는 정도는 어느 정도인가?

주요 결과

• 기존 3D 세그먼테이션 방법은 시점 경계에서 상당히 낮은 성능를 보이며, mIoU@boundary가 종종 총합 mIoU보다 크게 낮아 경계 이해의 심각한 격차를 드러낸다.
• 기본 ConvNet에 적용했을 때 CBL은 ScanNet 검증 세트에서 mIoU를 +1.27% 향상시키고 OA를 +0.34% 향상시켜 일관된 성능 향상을 입증한다.
• S3DIS 데이터셋에서 CBL은 기본 ConvNet이 70.5%의 mIoU를 달성해 더 복잡한 모델인 BA-GEM과 JSENet을 능가한다.
• Semantic3D 데이터셋에서 CBL은 RandLA-Net이 78.4%의 최신 기술 수준 mIoU를 달성해 이전 방법들을 능가한다.
• 절단 분석 결과, 서브-씬 경계 마이닝과 다중 척도 특징 학습이 성능 향상에 필수적임을 확인했으며, 다중 척도 헤드와 결합했을 때 CBL은 mIoU를 +1.62% 향상시켰다.
• CBL는 S3DIS, ScanNet, NPM3D, Semantic3D 등 다양한 데이터셋과 베이스라인에서 일관되게 성능 향상을 이끌어내어 일반화 능력과 강건성을 입증한다.