[논문 리뷰] Panoptic-PolarNet: Proposal-free LiDAR Point Cloud Panoptic Segmentation

Zixiang Zhou, Yang Zhang외 1명|arXiv (Cornell University)|2021. 03. 27.

Advanced Neural Network Applications참고 문헌 58인용 수 10

한 줄 요약

Panoptic-PolarNet는 제안 없이 실시간으로 LiDAR 포인트 클라우드의 패노プ틱 세그멘테이션을 수행하는 프레임워크로, 극좌표 기반 바라보기 시각(Bird's Eye View, BEV) 표현을 통해 의미 세그멘테이션과 클래스 무관한 인스턴스 클러스터링을 통합한다. 의미 기반 백본 위에 경량 인스턴스 헤드를 적용하고, 다수결 투표를 통해 예측을 융합함으로써, 추가 파rameter가 0.1M에 불과하고 추론 오버헤드가 0.027초에 그치는 매우 효율적인 성능을 달성하며, SemanticKITTI에서 54.1%의 PQ를 기록하고 nuScenes에서 최고 성능을 기록한다.

ABSTRACT

Panoptic segmentation presents a new challenge in exploiting the merits of both detection and segmentation, with the aim of unifying instance segmentation and semantic segmentation in a single framework. However, an efficient solution for panoptic segmentation in the emerging domain of LiDAR point cloud is still an open research problem and is very much under-explored. In this paper, we present a fast and robust LiDAR point cloud panoptic segmentation framework, referred to as Panoptic-PolarNet. We learn both semantic segmentation and class-agnostic instance clustering in a single inference network using a polar Bird's Eye View (BEV) representation, enabling us to circumvent the issue of occlusion among instances in urban street scenes. To improve our network's learnability, we also propose an adapted instance augmentation technique and a novel adversarial point cloud pruning method. Our experiments show that Panoptic-PolarNet outperforms the baseline methods on SemanticKITTI and nuScenes datasets with an almost real-time inference speed. Panoptic-PolarNet achieved 54.1% PQ in the public SemanticKITTI panoptic segmentation leaderboard and leading performance for the validation set of nuScenes.

연구 동기 및 목표

• 자율주행 및 로봇 분야에서 효율적이고 실시간으로 작동하는 LiDAR 포인트 클라우드 패노프틱 세그멘테이션 솔루션의 부족을 보완하기 위해.
• 예측 헤드 간의 갈등을 방지하는 제안 없이도 의미 세그멘테이션과 인스턴스 세그멘테이션을 통합하는 프레임워크를 제안하기 위해.
• 극좌표 BEV 표현을 통해 XY 평면상에서 'thing' 클래스의 분리 가능성을 활용하여 강력한 인스턴스 클러스터링을 실현하기 위해.
• 새로운 데이터 증강 및 적대적 프루닝 기법을 통해 모델의 학습 가능성과 강건성을 향상시키기 위해.
• 낮은 계산 오버헤드로 높은 정확도를 확보하여 표준 LiDAR 센서에서 실시간 추론이 가능하도록 하기 위해.

제안 방법

• 3D LiDAR 포인트를 투영하기 위해 극좌표 기반 바라보기 시각(Bird's Eye View, BEV) 표현을 사용하여 2차원 평면에서 효과적인 인스턴스 클러스터링을 가능하게 한다.
• PolarNet 의미 세그멘테이션 백본을 기반으로 하며, 중심 회귀를 위한 Panoptic-DeepLab의 영감을 받은 경량 2D 인스턴스 헤드를 추가한다.
• 의미 및 인스턴스 예측을 다수결 투표를 통해 융합하여 최종 패노프틱 레이블을 생성함으로써 예측 간 갈등을 최소화한다.
• 일반화 성능 향상을 위해 희귀한 'thing' 클래스에서의 성능 향상을 위해 오버샘플링, 글로벌 및 로컬 증강 기법을 포함한 적응형 인스턴스 증강 전략을 도입한다.
• 자기 적대적 포인트 클라우드 프루닝 방법을 통해 특히 'stuff' 클래스에서 특징의 강건성을 향상시킨다.
• 환경 노출도가 높은 객체(예: 자전거 타는 사람, 오토바이 기사)의 예측 성능 향상을 위해 가시성 특징을 도입한다.

실험 결과

연구 질문

• RQ1 제안 없이도 LiDAR 포인트 클라우드에서 고정확도, 실시간 패노프틱 세그멘테이션을 달성할 수 있는가?
• RQ2 극좌표 BEV 표현이 도시 환경에서 'thing' 클래스 인스턴스를 분리하는 데 얼마나 효과적인가?
• RQ3 새로운 데이터 증강 및 프루닝 기법이 모델의 일반화 및 강건성 향상에 어느 정도 기여하는가?
• RQ4 제안 없이도 의미 세그멘테이션의 품질이 전체 패노프틱 성능에 미치는 영향은 어떠한가?
• RQ5 강력한 의미 백본과 경량 인스턴스 헤드를 높은 계산 비용 없이 효과적으로 융합할 수 있는가?

주요 결과

• Panoptic-PolarNet는 공개된 SemanticKITTI 패노프틱 세그멘테이션 랭킹에서 54.1%의 PQ를 기록하며 새로운 최고 성능을 달성했다.
• nuScenes 검증 세트에서 최고 성능을 기록하여 다양한 데이터셋 간의 강력한 일반화 능력을 입증했다.
• 인스턴스 헤드 추가로 인한 추론 시간 증가가 0.027초에 불과하고, 파rameter 증가도 0.1M에 그쳐 높은 효율성을 입증했다.
• 인스턴스 오버샘플링으로 인해 PQ가 2.8% 향상되고 mIoU가 2.1% 향상되어 희귀 'thing' 클래스에 큰 도움을 주었다.
• 자기 적대적 프루닝은 의미 예측의 안정성을 향상시켰으며, 특히 'stuff' 클래스에서 측정 가능한 그러나 보통 수준의 PQ 향상을 기록했다.
• 오라클 아블레이션 결과에 따르면 의미 예측이 주요 병목 현상임을 확인하였으며, 진짜 의미 레이블과 진짜 인스턴스 예측을 조합했을 때 PQ가 96.8%까지 상승했다.