[논문 리뷰] Panoptic-PHNet: Towards Real-Time and High-Precision LiDAR Panoptic Segmentation via Clustering Pseudo Heatmap

Jinke Li, Xiao He외 4명|arXiv (Cornell University)|2022. 05. 14.

Advanced Neural Network Applications인용 수 5

한 줄 요약

Panoptic-PHNet는 실시간으로 높은 정밀도를 제공하는 LiDAR 패노プ틱 세그멘테이션 프레임워크를 제안한다. 이는 이동된 포인트로부터 생성된 클러스터링 허브맵을 사용해 히트맵 브랜치와 오프셋 브랜치 간의 일관성 문제를 제거하고, 정확한 오프셋 회귀를 위한 knn-Transformer를 적용하며, 세밀한 볼륨 특징과 다중 수신장역할 BEV 특징을 융합하여 강력한 특징 학습을 달성한다. 이로 인해 SemanticKITTI와 nuScenes에서 최신 기술 수준의 성능을 기록하며 실시간 추론 속도를 확보한다.

ABSTRACT

As a rising task, panoptic segmentation is faced with challenges in both semantic segmentation and instance segmentation. However, in terms of speed and accuracy, existing LiDAR methods in the field are still limited. In this paper, we propose a fast and high-performance LiDAR-based framework, referred to as Panoptic-PHNet, with three attractive aspects: 1) We introduce a clustering pseudo heatmap as a new paradigm, which, followed by a center grouping module, yields instance centers for efficient clustering without object-level learning tasks. 2) A knn-transformer module is proposed to model the interaction among foreground points for accurate offset regression. 3) For backbone design, we fuse the fine-grained voxel features and the 2D Bird's Eye View (BEV) features with different receptive fields to utilize both detailed and global information. Extensive experiments on both SemanticKITTI dataset and nuScenes dataset show that our Panoptic-PHNet surpasses state-of-the-art methods by remarkable margins with a real-time speed. We achieve the 1st place on the public leaderboard of SemanticKITTI and leading performance on the recently released leaderboard of nuScenes.

연구 동기 및 목표

• 제안 없이 분리된 히트맵과 오프셋 브랜치 간의 일관성 문제를 해결하기 위해.
• 경량적이고 효율적인 어텐션 메커니즘을 통해 정밀한 오프셋 회귀를 가능하게 하여 인스턴스 세그멘테이션 정확도를 향상시키기 위해.
• 세밀한 볼륨 특징과 다중 척도 BEV 특징을 융합하여 특징 표현을 향상시켜 더 나은 의미적 및 인스턴스 세그멘테이션 성능를 확보하기 위해.
• 대규모 LiDAR 벤치마크에서 높은 정확도를 유지하면서도 실시간 추론 속도를 확보하기 위해.

제안 방법

• 이동된 인스턴스 포인트들을 Bird's Eye View (BEV) 격자에 투영하여 클러스터링 허브맵을 생성하며, 픽셀 강도는 포인트의 밀도를 나타내며 자연스러운 인스턴스 중심 지표로 기능한다.
• 동일한 인스턴스에서 중복된 중심점을 병합하기 위해 중심 그룹핑 모듈을 도입하여, 오프셋 예측의 정확도가 떨어져도 인스턴스의 완전성을 보장한다.
• k개의 가장 가까운 이웃을 고려하여 공간적 상호작용을 모델링하는 knn-Transformer 모듈을 통해, 낮은 계산 비용으로도 오프셋 회귀 성능을 향상시킨다.
• 백본은 Unet 유사 네트워크로부터 유도된 2D BEV 특징과 세밀한 볼륨 특징을 융합하여 국소적 세부 정보와 전역적 맥락을 결합함으로써 표현력을 향상시킨다.
• 오프셋 예측 헤드는 각 인스턴스 포인트에 대해 2D 오프셋을 회귀하며, 이 오프셋은 이후 허브맵 생성 전에 포인트를 이동시키는 데 사용된다.
• 최종적으로, 허브맵에서 예측된 인스턴스 중심을 기반으로 모든 인스턴스 포인트를 클러스터링하여 인스턴스 세그멘테이션을 달성한다.

실험 결과

연구 질문

• RQ1 직접 이동된 포인트에서 생성된 허브맵이 제안 없이 분리된 히트맵과 오프셋 브랜치 간의 일관성 문제를 제거할 수 있는가?
• RQ2 knn 기반의 트랜스포머 모듈은 최소한의 계산 부담으로 오프셋 회귀 정확도를 어떻게 향상시키는가?
• RQ3 세밀한 볼륨 특징과 다중 수신장역할 BEV 특징을 융합할 경우 패노프틱 세그멘테이션 성능는 어느 정도 향상되는가?
• RQ4 제안된 방법은 대규모 LiDAR 벤치마크에서 높은 정확도와 실시간 추론 속도를 동시에 달성할 수 있는가?

주요 결과

• Panoptic-PHNet는 공개된 SemanticKITTI 랭킹에서 패노프틱 품질(PQ) 61.7%로 1위를 기록하며 이전 최신 기술 수준의 방법들을 초월한다.
• nuScenes 데이터셋에서 이 방법은 PQ 61.7%와 PQ^Th 69.3%를 기록하여 최근 발표된 랭킹에서 최고 성능을 보여준다.
• 제거 분석 결과, 세밀한 볼륨 특징을 통합함으로써 mIoU는 1.2% 향상되고 PQ는 1.1% 향상됨을 확인하여 정확도 향상에 있어 그 중요성을 입증한다.
• knn-Transformer 모듈은 k=25에서 최적 성능을 기록하며, 종점 오차(EPE)를 13.7 cm로 감소시켜 DS-Net(64.3 cm)과 Panoptic-PolarNet(44.9 cm)을 크게 앞서는 성능을 보였다.
• 정성적 결과 분석에서 유일하게 Panoptic-PHNet만 혼잡한 도심 환경에서 서로 가까이 붙어 있는 세 개의 인스턴스를 정확히 세분화하는 것으로 확인되어 복잡한 시나리오에서의 강건성을 입증한다.
• 이 방법은 실시간 추론 속도를 유지하며, 그림 1의 녹색 영역(10 FPS 이내)을 충족시키면서도 평가된 모든 방법들 중 가장 높은 PQ를 기록한다.