[논문 리뷰] Real-Time Spatio-Temporal LiDAR Point Cloud Compression

Yu Feng, Shaoshan Liu외 1명|arXiv (Cornell University)|2020. 08. 16.

Computer Graphics and Visualization Techniques참고 문헌 26인용 수 4

한 줄 요약

이 논문은 키 프레임 내의 공간적 부족함과 연속 프레임 간의 시간적 부족함을 동시에 활용하여, 공간으로 인코딩된 평면을 시간 인코딩에 재사용함으로써 실시간 스페시오테미포럴 LiDAR 포인트 클라우드 압축 시스템을 제안한다. 실시간 성능(10 FPS 이상)을 확보하면서 최대 90배의 압축률을 달성하며, 물체 검출 및 정렬과 같은 종단간 응용에서 높은 정확도를 유지한다. 기존 MPEG 표준 대비 압축률, 속도, 정확도에서 모두 뛰어난 성능을 발휘한다.

ABSTRACT

Compressing massive LiDAR point clouds in real-time is critical to autonomous machines such as drones and self-driving cars. While most of the recent prior work has focused on compressing individual point cloud frames, this paper proposes a novel system that effectively compresses a sequence of point clouds. The idea to exploit both the spatial and temporal redundancies in a sequence of point cloud frames. We first identify a key frame in a point cloud sequence and spatially encode the key frame by iterative plane fitting. We then exploit the fact that consecutive point clouds have large overlaps in the physical space, and thus spatially encoded data can be (re-)used to encode the temporal stream. Temporal encoding by reusing spatial encoding data not only improves the compression rate, but also avoids redundant computations, which significantly improves the compression speed. Experiments show that our compression system achieves 40x to 90x compression rate, significantly higher than the MPEG's LiDAR point cloud compression standard, while retaining high end-to-end application accuracies. Meanwhile, our compression system has a compression speed that matches the point cloud generation rate by today LiDARs and out-performs existing compression systems, enabling real-time point cloud transmission.

연구 동기 및 목표

• 자율주행 차량과 드론과 같은 자율 시스템에서 거대한 LiDAR 포인트 클라우드 데이터를 실시간으로 고효율 압축할 필요를 해결하기 위해.
• 기존 연구에서 상호 보완되는 경향이 있는 압축률, 압축 속도, 종단간 응용 정확도의 세 가지 지표를 동시에 향상시키기 위해.
• 순차적 LiDAR 포인트 클라우드에서 공간적 부족함(프레임 내)과 시간적 부족함(프레임 간)을 동시에 활용하기 위해. 이는 이전 압축 방법에서 다루지 않은 분야이다.
• 현대 LiDAR의 포인트 클라우드 생성 속도(5–20 Hz)에 맞추거나 이를 초월하여 실시간 전송 및 클라우드 오프로딩을 가능하게 하기 위해.
• 기존의 PSNR와 같은 전통적 지표가 아닌, 정렬, 물체 검출, 세그먼테이션과 같은 작업에서의 종단간 응용 정확도를 압축 품질 평가 기준으로 삼기 위해.

제안 방법

• 압축을 효율적이고 구조적으로 처리하기 위해 원시 포인트 클라우드를 레인지 이미지로 변환한다.
• 시퀀스에서 키 프레임(K-프레임)을 식별하고, 현실 세계의 장면에서 많은 포인트들이 평면 표면에 위치한다는 사실을 활용하여 점군의 그룹에 대해 반복적으로 평면을 피팅함으로써 공간 인코딩을 수행한다.
• 이후 프레임(P-프레임)들은 IMU 측정치를 사용하여 K-프레임의 좌표계로 변환되어 겹치는 영역이 정렬된다.
• 시간 인코딩은 K-프레임에서 식별된 평면을 재사용하여 P-프레임의 포인트를 인코딩함으로써 중복 계산을 줄이고 압축 효율을 향상시킨다.
• IMU의 정확도 부족을 보완하기 위해 프레임 간 공간 일관성을 활용함으로써 강인성을 향상시킨다.
• 다중 CPU 코어를 통한 병렬 구현으로 처리 속도를 가속화하여, PC에서는 최대 52.1 FPS, Jetson TX2에서는 20.5 FPS의 높은 처리량을 달성한다.

Fig. 1: Overview of our compression system, which compresses a sequence of consecutive point clouds. All the points clouds are converted to range images to accelerate the compression speed. We first spatially encode the key point-cloud (K-frame) in the sequence, typically the middle one. The spatial

실험 결과

연구 질문

• RQ1 LiDAR 포인트 클라우드 시퀀스에서 공간적 및 시간적 부족함을 동시에 활용할 경우, 기존 최첨단 방법보다 더 높은 압축률을 달성할 수 있는가?
• RQ2 이러한 시스템이 현대 LiDAR의 생성 속도(5–20 Hz)에 맞추거나 이를 초월하는 실시간 압축 속도를 확보할 수 있는가?
• RQ3 압축 방법이 충분한 기하학적 정밀도를 유지하여 물체 검출 및 정렬과 같은 후속 로봇 응용에서 높은 정확도를 유지를 할 수 있는가?
• RQ4 시간 인코딩에서 공간적으로 인코딩된 평면을 재사용할 경우, 계산 효율성과 압축 성능에 어떤 영향을 미치는가?
• RQ5 연속된 다수의 프레임을 함께 인코딩할 경우, 압축률, 속도, 응용 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 시스템은 최대 90배의 압축률을 달성하여 MPEG의 LiDAR 포인트 클라우드 압축 표준을 크게 뛰어넘는다.
• PC에서는 최대 52.1 FPS, 모바일 Jetson TX2에서는 20.5 FPS의 압축 속도를 기록하여 현대 LiDAR의 일반적인 5–20 Hz 생성 속도를 초월한다.
• 정렬, 물체 검출, 세그먼테이션 작업에서 원본 포인트 클라우드와 유사한 종단간 응용 정확도를 유지하며, 기존의 압축 기법보다 뛰어난 성능을 발휘한다.
• 압축 속도는 처리하는 연속 프레임 수에 매우 민감하며, 4코어 CPU에서의 병렬 처리로 최대 5.4배의 속도 향상을 달성한다.
• 응용 정확도는 인코딩된 프레임 수에 크게 민감하지 않으며, 공간적 및 시간적 인코딩된 포인트 비율이 일관되므로 압축률도 안정적이다.
• 공간적으로 인코딩된 평면을 시간 인코딩에 재사용함으로써 중복 계산을 줄이고, 속도와 압축 효율을 동시에 향상시킬 수 있음을 시스템이 입증한다.

Fig. 2: Different data structures used in our compression. The raw point clouds are converted to range images. After spatial and temporal encoding, most of the tiles in the range images are plane-encoded; the unfit tiles are left in the residual maps.