[논문 리뷰] HALS: A Height-Aware Lidar Super-Resolution Framework for Autonomous Driving

George Eskandar, Sudarsan, Sanjeev외 4명|arXiv (Cornell University)|2022. 02. 08.

Advanced Optical Sensing Technologies인용 수 5

한 줄 요약

HALS는 극좌표계에서 다중 수신장치 영역을 가진 생성자로 라이다 스캔 내 높이에 따라 달라지는 거리 분포를 모델링함으로써 높이 인식형 라이다 초해상도 프레임워크를 제안한다. Kitti, NuScenes, Cityscapes 데이터셋에서 기하학적 정확도와 객체 검출 정확도 향상으로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Lidar sensors are costly yet critical for understanding the 3D environment in autonomous driving. High-resolution sensors provide more details about the surroundings because they contain more vertical beams, but they come at a much higher cost, limiting their inclusion in autonomous vehicles. Upsampling lidar pointclouds is a promising approach to gain the benefits of high resolution while maintaining an affordable cost. Although there exist many pointcloud upsampling frameworks, a consistent comparison of these works against each other on the same dataset using unified metrics is still missing. In the first part of this paper, we propose to benchmark existing methods on the Kitti dataset. In the second part, we introduce a novel lidar upsampling model, HALS: Height-Aware Lidar Super-resolution. HALS exploits the observation that lidar scans exhibit a height-aware range distribution and adopts a generator architecture with multiple upsampling branches of different receptive fields. HALS regresses polar coordinates instead of spherical coordinates and uses a surface-normal loss. Extensive experiments show that HALS achieves state-of-the-art performance on 3 real-world lidar datasets.

연구 동기 및 목표

• 일관된 메트릭을 사용한 실세계 라이다 업샘플링 방법에 대한 통합 기준이 부족한 문제를 해결한다.
• 기존 포인트클라우드 업샘플링 방법의 한계를 특정하며, 특히 라이다 스캔에서 높이에 따라 달라지는 거리 분포를 고려하지 못하는 문제를 규명한다.
• 높이 인식 설계와 극좌표 회귀를 통해 업샘플링 과정에서 3차원 기하학적 구조와 객체 형태를 유지하는 새로운 프레임워크를 개발한다.
• 계산 효율성을 유지하면서도 포인트클라우드 해상도를 향상시켜 3D 객체 검출과 같은 후행 인식 작업의 성능을 향상시킨다.

제안 방법

• 각 수직 빔 영역의 높이에 따른 거리 분포에 맞게 조정된 다중 업샘플링 브랜치를 가진 격자 기반 생성자 아키텍처를 제안한다.
• 구면좌표계 대신 극좌표계를 사용하여 입력과 출력을 표현함으로써 높이 정보를 명시적으로 모델링하고 기하학적 일관성을 향상시킨다.
• 로컬 3차원 구조를 유지하고 재구성된 표면의 잡음과 기하학적 오류를 줄이기 위해 표면 법선 손실을 사용한다.
• Kitti, NuScenes, Cityscapes의 실세계 라이다 스캔에서 엔드 투 엔드로 모델을 훈련시키며, L1, L2 및 법선 일관성의 다중 척도 손실을 조합한다.
• 고거리 및 고고도 영역에서 장거리 의존성을 포착하기 위해 수직 빔 별로 다양한 수신장치를 가진 생성자 설계를 한다.
• 저해상도에서 고해상도 포인트클라우드로의 결정론적 매핑을 채택하여 형태 충실도와 진짜 값과의 분포 일치에 중점을 둔다.

실험 결과

연구 질문

• RQ1 통합 메트릭을 사용해 실세계 데이터셋에서 일관되게 평가했을 때 기존 라이다 업샘플링 방법의 성능은 어떠한가?
• RQ2 라이다 스캔에서 높이에 따라 달라지는 거리 분포를 忽시할 경우 업샘플링된 포인트클라우드의 품질에 어떤 영향을 미치는가?
• RQ3 빔 별로 통계를 모델링하는 다중 수신장치 영역 생성자 아키텍처가 라이다 초해상도에서 기하학적 충실도를 향상시킬 수 있는가?
• RQ4 극좌표계와 표면 법선 손실을 사용할 경우 형태 보존 및 후행 작업 성능 향상에 어느 정도 기여하는가?
• RQ5 HALS 프레임워크는 업샘플링 후 객체 검출 정확도 측면에서 최신 기술 수준의 방법들과 비교해 어떻게 성과를 내는가?

주요 결과

• HALS는 Kitti Raw, Kitti Object, NuScenes 세 가지 실세계 라이다 데이터셋에서 최신 기술 수준의 성능을 달성하며 기하학적 충실도와 객체 검출 성능 모두에서 기존 방법을 초월한다.
• Kitti Object 데이터셋에서 'Car' 클래스의 하드 난이도 수준에서 평균 정확도(AP)는 55.76을 기록하여 ILN(34.00)과 LIDAR-SR(20.39)를 모두 앞선다.
• 정성적 분석 결과, HALS가 생성한 포인트클라우드는 ILN 및 LIDAR-SR에 비해 차량과 같은 전경 객체의 형태와 분포를 더 잘 유지하며 잡음과 기하학적 기포를 줄였다.
• 제거 실험 결과 높이 인식 설계와 극좌표계 표현 방식이 재구성 품질 향상과 기하학적 왜곡 감소에 크게 기여하는 것으로 확인되었다.
• 격자 기반 방법이 포인트 기반 방법보다 벤치마크에서 우수한 성능을 보였는데, 이는 더 넓은 수직 수신장치 영역 덕분에 빔 별 거리 변화를 더 잘 포착하기 때문이다.
• 표면 법선 손실은 국소 표면 일관성을 향상시켜 확대된 포인트클라우드에서 평평하거나 기울어진 영역을 줄이는 데 기여한다.