[논문 리뷰] Patchwork++: Fast and Robust Ground Segmentation Solving Partial Under-Segmentation Using 3D Point Cloud

Seung Jae Lee, Hyungtae Lim외 1명|arXiv (Cornell University)|2022. 07. 25.

Remote Sensing and LiDAR Applications인용 수 7

한 줄 요약

Patchwork++는 적응형 지면 가능성 추정(A-GLE), 시간적 지면 복귀(TGR), 영역별 수직 평면 피팅(R-VPF), 반사 노이즈 제거(RNR)를 도입하여 복잡한 도시 환경에서 부분적 과소분할과 지면 평면 추정 문제를 해결하는 빠르고 견고한 학습 기반 비지능형 지면 분할 방법이다. SemanticKITTI 데이터셋에서 98.7% 재현율과 99.4% 정밀도를 기록하며 최신 기술 수준을 상회하며, 수동 매개변수 조정을 줄이고 이전 방법 대비 속도를 향상시켰다.

ABSTRACT

In the field of 3D perception using 3D LiDAR sensors, ground segmentation is an essential task for various purposes, such as traversable area detection and object recognition. Under these circumstances, several ground segmentation methods have been proposed. However, some limitations are still encountered. First, some ground segmentation methods require fine-tuning of parameters depending on the surroundings, which is excessively laborious and time-consuming. Moreover, even if the parameters are well adjusted, a partial under-segmentation problem can still emerge, which implies ground segmentation failures in some regions. Finally, ground segmentation methods typically fail to estimate an appropriate ground plane when the ground is above another structure, such as a retaining wall. To address these problems, we propose a robust ground segmentation method called Patchwork++, an extension of Patchwork. Patchwork++ exploits adaptive ground likelihood estimation (A-GLE) to calculate appropriate parameters adaptively based on the previous ground segmentation results. Moreover, temporal ground revert (TGR) alleviates a partial under-segmentation problem by using the temporary ground property. Also, region-wise vertical plane fitting (R-VPF) is introduced to segment the ground plane properly even if the ground is elevated with different layers. Finally, we present reflected noise removal (RNR) to eliminate virtual noise points efficiently based on the 3D LiDAR reflection model. We demonstrate the qualitative and quantitative evaluations using a SemanticKITTI dataset. Our code is available at https://github.com/url-kaist/patchwork-plusplus

연구 동기 및 목표

• 지면 평면이 평탄하지 않거나 높이가 있는 경우, 특히 불규칙하거나 복잡한 도시 환경에서 지속적인 부분적 과소분할 문제를 해결한다.
• 이전 분할 결과를 기반으로 환경 인식형 매개변수 추정을 가능하게 하여 수동 매개변수 조정의 필요성을 줄인다.
• 지면이 구조물 위에 높이 올라가 있는 경우(예: 방진벽)에 지면 평면 추정을 향상시키기 위해 영역별 수직 평면 피팅을 활용한다.
• 물리 기반 반사 모델을 사용해 가상의 노이즈 포인트를 제거함으로써 정확도를 향상시키고, 분할의 견고성을 높인다.
• 모바일 로봇 및 자율주행 시스템에 구현 가능한 실시간 성능을 유지한다.

제안 방법

• 적응형 지면 가능성 추정(A-GLE)은 이전에 분할된 지면 포인트의 분포를 기반으로 지면 가능성 매개변수(예: $e_{ au,m}$ 및 $f_{ au,m}$)를 동적으로 업데이트하여 수동 조정 없이 환경에 맞는 매개변수 적응을 가능하게 한다.
• 시간적 지면 복귀(TGR)는 시간적 일관성을 활용하여 잘못 분류된 지면 포인트(과소분할된 지면 포인트)를 식별하고 복귀시킨다. 높은 $z$-값을 가졌지만 낮은 가능성 값을 가진 포인트를 현재 지면 평면 모델을 기반으로 재검토한다.
• 영역별 수직 평면 피팅(R-VPF)은 각 영역에 대해 수직 평면을 피팅하여 측면이나 높이가 있는 지형에서 지면 평면을 분할함으로써, 단일 평면 표면이 아닌 경우에도 정확한 지면 추정이 가능하도록 한다.
• 반사 노이즈 제거(RNR)는 표면의 물리적 반사 행동을 모델링하여 LiDAR 반사 아티팩트로 인한 가상의 노이즈 포인트를 필터링함으로써 분할 이전에 포인트 클라우드의 품질을 향상시킨다.
• 이 방법은 거친 후 세밀한 방식으로 포인트 클라우드를 처리한다: 먼저 포인트 클라우드를 수직 바인으로 나누고(CZM), 각 바인에 대해 A-GLE와 TGR를 적용하여 지면 가능성도를 개선한 후, R-VPF와 RNR를 통해 최종 분할을 수행한다.
• 전체적으로 정렬을 수행하는 대신 각 바인 별로 정렬을 수행함으로써 계산 효율성을 최적화하여 시간 복잡도를 $O(Nar{log}N)$에서 $O(LMar{log}M)$으로 감소시켰다. 여기서 $L$은 바인 수이고 $M$은 평균 포인트 수이다.

실험 결과

연구 질문

• RQ1 학습 기반 비지능형 지면 분할 방법이 다양한 도시 환경에서 수동 매개변수 조정의 필요성을 줄일 수 있는가?
• RQ2 시간적 일관성과 적응형 가능성 추정이 복잡한 지형에서 부분적 과소분할 문제를 얼마나 효과적으로 완화할 수 있는가?
• RQ3 지면이 높이 올라가 있거나 층이 있는 경우(예: 방진벽 뒤)에 영역별 수직 평면 피팅이 지면 평면 추정을 어떻게 향상시킬 수 있는가?
• RQ4 반사 노이즈 제거가 물리적으로 불가능한 포인트를 제거함으로써 분할 정확도를 얼마나 향상시킬 수 있는가?
• RQ5 실제 LiDAR 데이터셋에서 최신 기술 수준의 방법들과 비교해 복합적인 성능(정밀도 및 재현율)과 빠른 처리 속도를 동시에 확보할 수 있는가?

주요 결과

• Patchwork++는 SemanticKITTI 데이터셋에서 98.7% 재현율과 99.4% 정밀도를 기록하여, Patchwork(97.8% 재현율, 99.2% 정밀도) 및 기타 최신 기술 수준의 방법들보다 정밀도와 재현율 모두에서 뛰어난 성능을 보였다.
• 시간적 지면 복귀(TGR)를 통해 Patchwork 대비 잘못 분류된 지면 포인트를 38.5% 감소시켰으며, 이로 인해 많은 과소분할 포인트가 참 긍정으로 복귀되었고 정밀도 손실는 최소한으로 유지되었다.
• 적응형 지면 가능성 추정(A-GLE)은 환경 유형에 따라 매개변수를 자동으로 업데이트하여 성공적으로 작동했다. 예를 들어 고속도로에서는 더 낮은 값(더 평탄한 지형), 농촌 또는 도시 지역에서는 더 높은 값(불규칙하거나 경사진 도로)을 적용하였다.
• SemanticKITTI 데이터셋의 Sequence 05에서 알고리즘이 54.85 Hz로 실행되었으며, 이는 최적화된 바인 별 정렬 덕분에 시간 복잡도가 $LMar{log}L$ 감소함으로써 Patchwork(43.97 Hz)를 초월한 결과이다.
• 영역별 수직 평면 피팅(R-VPF)은 방진벽 등 높이 올라간 지면 구조물이 있는 장면에서 단일 평면 모델이 실패하는 상황에서도 정확한 지면 분할을 가능하게 하였다.
• 반사 노이즈 제거(RNR)는 LiDAR 반사 행동을 모델링하여 가상의 노이즈 포인트를 효과적으로 제거함으로써 입력 데이터의 품질을 향상시키고 분할에서의 참 양성 오류를 줄였다.