[논문 리뷰] SalsaNext: Fast, Uncertainty-aware Semantic Segmentation of LiDAR Point Clouds for Autonomous Driving

Tiago Cortinhal, George Tzelepis외 1명|arXiv (Cornell University)|2020. 03. 07.

Advanced Neural Network Applications참고 문헌 47인용 수 100

한 줄 요약

SalsaNext는 SalsaNet에 컨텍스트 모듈, 확장 잔여 블록, 픽셀-셰플 업샘플링, Lovász-Softmax 손실, 및 Bayesian 불확실성 추정 기능을 추가하여 실시간, 불확실성 인식 LiDAR 의미론 분할을 달성하고 Semantic-KITTI에서 1위를 차지했습니다.

ABSTRACT

In this paper, we introduce SalsaNext for the uncertainty-aware semantic segmentation of a full 3D LiDAR point cloud in real-time. SalsaNext is the next version of SalsaNet [1] which has an encoder-decoder architecture where the encoder unit has a set of ResNet blocks and the decoder part combines upsampled features from the residual blocks. In contrast to SalsaNet, we introduce a new context module, replace the ResNet encoder blocks with a new residual dilated convolution stack with gradually increasing receptive fields and add the pixel-shuffle layer in the decoder. Additionally, we switch from stride convolution to average pooling and also apply central dropout treatment. To directly optimize the Jaccard index, we further combine the weighted cross-entropy loss with Lovasz-Softmax loss [2]. We finally inject a Bayesian treatment to compute the epistemic and aleatoric uncertainties for each point in the cloud. We provide a thorough quantitative evaluation on the Semantic-KITTI dataset [3], which demonstrates that the proposed SalsaNext outperforms other state-of-the-art semantic segmentation networks and ranks first on the Semantic-KITTI leaderboard. We also release our source code https://github.com/TiagoCortinhal/SalsaNext.

연구 동기 및 목표

• 자율주행을 위한 3D LiDAR 데이터를 이용한 신뢰할 수 있고 실시간 의미 이해를 촉진한다.
• 에피스테믹 및 알레오타릭 불확실성과 함께 각 포인트에 대한 정확한 레이블을 출력하는 네트워크를 개발한다.
• 이전 SalsaNet보다 맥락 인식 및 효율성을 향상시키면서도 실시간 성능을 유지한다.

제안 방법

• 글로벌 360도 컨텍스트를 포착하기 위한 잔여 확장 합성 스택으로 컨텍스트 모듈 도입.
• 인코더 ResNet 블록을 연결 및 잔여 연결을 포함하고, 팽창 비율이 2인 커널 3/5/7인 확장 합성의 스택으로 교체한다.
• 체크무늬 아티팩트를 피하고 업샘플링 효율을 높이기 위해 디코더에 픽셀-셰플 계층을 사용한다.
• 중앙 인코더-디코더 드롭아웃을 적용하고, 인코더 다운샘플링을 평균 풀링으로 전환하며, 각 클래스 채널에 맞추기 위해 1x1 컨브를 사용한다.
• 가중치 교차 엔트로피와 Lovász-Softmax 손실을 결합한 손실을 사용하여 IoU를 직접 최대화하도록 학습을 최적화한다.
• 재학습 없이 MC 샘플링과 ADF 영감의 전파를 통해 에피스테믹 및 알레오타릭 불확실성을 추정하는 베이지안 처리 방법을 도입한다.

실험 결과

연구 질문

• RQ1 SalsaNext가 Semantic-KITTI에서 최첨단 투사 기반 및 포인트 단위 3D LiDAR 분할 방법보다 우수한가?
• RQ2 모델이 LiDAR 분할에 대해 신뢰할 수 있는 불확실성 추정(에피스테믹 및 알레오타릭)을 제공하는가?
• RQ3 맥락 모듈, 확장 블록, 픽셀-셰플, 손실 함수 등 아키텍처 변화가 분할 정확도와 효율성에 어떤 영향을 미치는가?

주요 결과

• SalsaNext는 Semantic-KITTI 테스트 세트에서 평균 IoU 59.5%를 달성하며 기존 방법을 능가하고 리더보드 1위를 차지했다.
• 맥락 모듈, 확장 합성, 픽셀-셰플, Lovász-Softmax 손실의 누적 이득이 나타나 SalsaNet 대비 평균 IoU에서 최종 약 0.7% 포인트의 개선을 기록했다.
• SalsaNext는 SalsaNet 대비 매개변수 증가가 약 0.15M에 불과하고 총 프레임당 대략 41.26 ms의 경쟁력 있는 런타임을 제공한다.
• 모델은 포인트당 에피스테믹 및 알레오타릭 불확실성을 모두 제공하여 안전한 자율성에 필요한 불확실성 인식 예측을 가능하게 한다.
• 정성적 결과는 자신 있는 예측에서 낮은 불확실성, 경계 또는 멀리 있는 물체에서 높은 불확실성을 나타낸다.
• SalsaNext는 SalsaNet 계열보다 더 높은 평균 IoU(59.5)를 달성하고 도로, 식생, 지형 등 여러 카테고리에서 클래스별 성능이 향상되었다.
• 런타임 비교에서 SalsaNext는 정확도와 속도 사이의 균형을 유지하며 6.73M 매개변수와 125.68 GFLOPs로 24 Hz 처리량을 달성한다.