[논문 리뷰] PolarNet: An Improved Grid Representation for Online LiDAR Point Clouds Semantic Segmentation

Yang Zhang, Zixiang Zhou외 5명|arXiv (Cornell University)|2020. 03. 31.

Advanced Neural Network Applications참고 문헌 39인용 수 31

한 줄 요약

PolarNet은 링-합성곱 CNN과 학습 가능한 격자별 특징 추출기를 도입한 극 BEV 표현을 통해 온라인 LiDAR 포인트 클라우드 분할을 수행하여 이전 방법보다 더 높은 mIoU와 더 낮은 비용을 달성합니다.

ABSTRACT

The need for fine-grained perception in autonomous driving systems has resulted in recently increased research on online semantic segmentation of single-scan LiDAR. Despite the emerging datasets and technological advancements, it remains challenging due to three reasons: (1) the need for near-real-time latency with limited hardware; (2) uneven or even long-tailed distribution of LiDAR points across space; and (3) an increasing number of extremely fine-grained semantic classes. In an attempt to jointly tackle all the aforementioned challenges, we propose a new LiDAR-specific, nearest-neighbor-free segmentation algorithm - PolarNet. Instead of using common spherical or bird's-eye-view projection, our polar bird's-eye-view representation balances the points across grid cells in a polar coordinate system, indirectly aligning a segmentation network's attention with the long-tailed distribution of the points along the radial axis. We find that our encoding scheme greatly increases the mIoU in three drastically different segmentation datasets of real urban LiDAR single scans while retaining near real-time throughput.

연구 동기 및 목표

• 온라인 정밀 LiDAR 분할의 근접 실시간 대기 시간, 불균형한 포인트 분포, 다수의 미세 분류 간의 도전을 해결한다.
• 격자 포인트 분포를 균형 있게 하는 LiDAR-특화 입력 표현을 제시한다.
• 극 BEV 그리드에서 작동하는 학습 가능한 격자별 특징 추출기와 링-합성곱 CNN을 개발한다.
• 다양한 도시 LiDAR 데이터셋에서 계산 비용을 줄인 상태로 성능 향상을 입증한다.

제안 방법

• LiDAR 포인트를 반경 방향과 각도 축을 따라 포인트 분포를 균형 있게 하는 극 BEV 그리드로 양자화한다.
• 각 격자 셀에 대해 고정 길이 로컬 특징을 생성하는 학습 가능 한 단순 PointNet을 사용한다.
• 각도 축 래핑으로 극 그리드 연결성을 존중하는 링-합성곱 2D CNN를 부착하여 엔드 투 엔드 처리를 가능하게 한다.
• 평가를 위해 극-그리드 예측을 Cartesian 포인트 도메인 라벨로 디코딩한다.
• SemanticKITTI, A2D2, Paris-Lille-3D에서 부피 기반 분할 손실을 사용하여 엔드 투 엔드로 학습한다.
• Cartesian BEV 및 구면 프로젝션과 함께 SqueezeSeg, SqueezeSegv2, PointNet, RangeNet++, Unet 계열과 비교한다.

실험 결과

연구 질문

• RQ1 극 BEV 그리드가 Cartesian BEV 또는 구면 프로젝션에 비해 포인트 분포의 균형 및 격자당 라벨 순수도(per-voxel label purity)를 향상시키는가?
• RQ2 학습 가능한 격자 표현과 링-합성곱의 결합이 MACs와 지연 시간을 줄이면서 분할 정확도(mIoU)를 향상시키는가?
• RQ3 SemanticKITTI, A2D2, Paris-Lille-3D와 같은 다양한 LiDAR 데이터셋에서 성능 향상이 일관적인가?
• RQ4 PolarNet이 정확도 및 효율성 측면에서 최신 온라인 LiDAR 분할 방법과 비교해 어떤 위치에 있는가?

주요 결과

• PolarNet은 최첨단 방법보다 매개변수와 MACs를 대략 1/3 수준으로 사용하면서 SemanticKITTI, A2D2, Paris-Lille-3D에서 성능을 능가한다.
• SemanticKITTI에서 PolarNet은 14M 매개변수와 105B MACs로 mIoU 54.3% 및 정확도 90.0%를 달성한다.
• A2D2에서 PolarNet은 다수 클래스에서 IoU를 개선하고 60B 매개변수 및 0.031s 대기 시간으로 mIoU 23.9%를 달성한다.
• Paris-Lille-3D에서 PolarNet은 mIoU 43.7% 및 정확도 87.5%를 달성하여 DarkNet53 및 Cartesian BEV 기준선을 능가한다.
• Polar BEV는 Cartesian BEV보다 격자당 포인트가 더 균형 잡히게 분포하도록 한다(극: 0.7±1.4 vs Cartesian: 0.7±3.2 포인트/셀).
• 다수의 클래스에서 IoU가 향상되며, 특히 불규칙하게 분포하거나 먼 거리에 있는 클래스에서 차이가 커진다, 이는 극 표현과 링-합성곱 설계 때문.