[논문 리뷰] LiDAR-based Panoptic Segmentation via Dynamic Shifting Network

Fangzhou Hong, Hui Zhou외 3명|arXiv (Cornell University)|2020. 11. 24.

3D Shape Modeling and Analysis참고 문헌 40인용 수 10

한 줄 요약

이 논문은 LiDAR 기반 패노プ틱 세그멘테이션을 위한 새로운 프레임워크인 동적 시프팅 네트워크(DS-Net)를 제안한다. 이는 3D 포인트 클라우드에서 의미론적 및 인스턴스 세그멘테이션을 통합하는 것으로, 비균일한 포인트 분포 하에서 재구성된 중심점에 대해 적응적으로 군집화할 수 있는 학습 가능한 동적 시프팅 모듈과 예측 충돌을 해결하기 위한 공감 기반 융합 기법을 도입하여, SemanticKITTI에서 57.7%의 PQ를 기록하고 공개 랭킹에서 1위를 달성하며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

With the rapid advances of autonomous driving, it becomes critical to equip its sensing system with more holistic 3D perception. However, existing works focus on parsing either the objects (e.g. cars and pedestrians) or scenes (e.g. trees and buildings) from the LiDAR sensor. In this work, we address the task of LiDAR-based panoptic segmentation, which aims to parse both objects and scenes in a unified manner. As one of the first endeavors towards this new challenging task, we propose the Dynamic Shifting Network (DS-Net), which serves as an effective panoptic segmentation framework in the point cloud realm. In particular, DS-Net has three appealing properties: 1) strong backbone design. DS-Net adopts the cylinder convolution that is specifically designed for LiDAR point clouds. The extracted features are shared by the semantic branch and the instance branch which operates in a bottom-up clustering style. 2) Dynamic Shifting for complex point distributions. We observe that commonly-used clustering algorithms like BFS or DBSCAN are incapable of handling complex autonomous driving scenes with non-uniform point cloud distributions and varying instance sizes. Thus, we present an efficient learnable clustering module, dynamic shifting, which adapts kernel functions on-the-fly for different instances. 3) Consensus-driven Fusion. Finally, consensus-driven fusion is used to deal with the disagreement between semantic and instance predictions. To comprehensively evaluate the performance of LiDAR-based panoptic segmentation, we construct and curate benchmarks from two large-scale autonomous driving LiDAR datasets, SemanticKITTI and nuScenes. Extensive experiments demonstrate that our proposed DS-Net achieves superior accuracies over current state-of-the-art methods. Notably, we achieve 1st place on the public leaderboard of SemanticKITTI, outperforming 2nd place by 2.6% in terms of the PQ metric.

연구 동기 및 목표

• 자율주행 환경에서의 종합적인 3D 인식의 부족을 해결하기 위해 LiDAR 포인트 클라우드에서 의미론적 및 인스턴스 세그멘테이션을 통합한다.
• 다양한 인스턴스 크기를 가진 비균일하고 희박한 LiDAR 포인트 클라우드에서 히우리스틱 군집화 기법의 한계를 극복한다.
• 의미론적 및 인스턴스 예측을 최소한의 계산 부담으로 효과적으로 융합하는 통합된 패노프틱 세그멘테이션 프레임워크를 설계한다.
• SemanticKITTI 및 nuScenes 데이터셋을 사용하여 LiDAR 기반 패노프틱 세그멘테이션을 위한 강력한 베이스라인과 벤치마크를 수립한다.

제안 방법

• DS-Net는 LiDAR 포인트 클라우드에서 공유 격자 수준의 특징을 추출하기 위해 실린더 컨볼루션을 강력한 백본으로 활용하여 의미론적 및 인스턴스 브랜치 모두에 효율적인 특징 학습을 가능하게 한다.
• 동적 시프팅 모듈은 다중 커널 기반 후보들을 가중치 처리하여 재구성된 중심점에 대한 시프팅 타겟을 적응적으로 계산함으로써, 인스턴스 밀도 및 크기에 따라 실시간으로 적응할 수 있도록 한다.
• 시프팅 연산은 학습된 어텐션 가중치에 기반하여 대역폭을 동적으로 조정하여 복잡한 비균일 포인트 분포에서 강력한 군집화를 가능하게 한다.
• 공감 기반 융합 모듈은 클래스 무관 인스턴스 세그멘테이션 충돌을 해결하여 의미론적 및 인스턴스 예측을 통합함으로써 일관된 패노프틱 레이블을 보장한다.
• 공유 특징을 사용하여 엔드 투 엔드로 훈련되며, 계산 부담을 최소화하면서도 높은 정확도를 유지한다.
• 이 방법은 SemanticKITTI와 커스터마이즈된 nuScenes 벤치마크에서 평가되어 다양한 포인트 클라우드 밀도 및 시나리오 복잡성에서의 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 자율주행 시나리오에서 LiDAR 포인트 클라우드에 대해 통합된 딥 러닝 프레임워크가 의미론적 및 인스턴스 세그멘테이션을 효과적으로 수행할 수 있는가?
• RQ2 3D LiDAR 데이터에서 비균일한 포인트 분포와 다양한 인스턴스 크기 조건에서 군집화를 어떻게 강력하게 만들 수 있는가?
• RQ3 기존의 히우리스틱 알고리즘인 DBSCAN이나 BFS보다 학습 가능한 적응형 군집화 기법이 3D 패노프틱 세그멘테이션에서 얼마나 뛰어난 성능을 낼 수 있는가?
• RQ4 의미론적 및 인스턴스 예측을 어떻게 효과적으로 융합하여 불일치를 해결하면서도 상당한 계산 비용을 유발하지 않을 수 있는가?
• RQ5 제안된 동적 시프팅 모듈은 하이퍼파rameter 설정에 대해 강건하며 다양한 LiDAR 데이터셋 간에 일반화 가능한가?

주요 결과

• DS-Net는 SemanticKITTI 벤치마크에서 57.7%의 PQ를 기록하여 2위 방법보다 PQ에서 2.6% 높은 성능을 달성했다.
• 모델은 공개 SemanticKITTI 랭킹에서 1위를 기록하여 최신 기술 수준의 성능을 입증했다.
• 희박한 nuScenes 데이터셋에서 DS-Net는 최고의 베이스라인보다 PQ에서 2.4% 높고, PQ_Th에서 3.5% 높은 성능을 기록하여 일반화 능력을 입증했다.
• 동적 시프팅 모듈은 대역폭 하이퍼파라미터 설정에 대해 강건하며, 다양한 후보 집합 간에 성능 변동이 최소한이었다.
• 학습된 대역폭은 인스턴스 크기와 비례함을 확인하여 모듈이 다양한 인스턴스 스케일에 적응적으로 반응할 수 있음을 증명했다.
• 시각화 결과, 시딩 포인트가 네 번 이내의 반복에서 군집 중심으로 수렴하는 것으로 나타나 효과적이고 안정적인 동적 시프팅을 보였다.