[論文レビュー] Real-Time Spatio-Temporal LiDAR Point Cloud Compression

Yu Feng, Shaoshan Liu+1 more|arXiv (Cornell University)|Aug 16, 2020

Computer Graphics and Visualization Techniques参考文献 26被引用数 4

ひとこと要約

本稿では、キーフレーム内の空間的冗長性と連続フレーム間の時間的冗長性の両方を活用し、空間符号化済みの平面を時間符号化に再利用することで、リアルタイムな空間時間的LiDAR点群圧縮システムを提案する。最大90倍の圧縮率を達成し、リアルタイム性能（10 FPS以上）を維持しながら、物体検出や登録などのエンドツーエンド応用において高い精度を維持し、MPEGの標準を圧倒的に上回る性能を示した。

ABSTRACT

Compressing massive LiDAR point clouds in real-time is critical to autonomous machines such as drones and self-driving cars. While most of the recent prior work has focused on compressing individual point cloud frames, this paper proposes a novel system that effectively compresses a sequence of point clouds. The idea to exploit both the spatial and temporal redundancies in a sequence of point cloud frames. We first identify a key frame in a point cloud sequence and spatially encode the key frame by iterative plane fitting. We then exploit the fact that consecutive point clouds have large overlaps in the physical space, and thus spatially encoded data can be (re-)used to encode the temporal stream. Temporal encoding by reusing spatial encoding data not only improves the compression rate, but also avoids redundant computations, which significantly improves the compression speed. Experiments show that our compression system achieves 40x to 90x compression rate, significantly higher than the MPEG's LiDAR point cloud compression standard, while retaining high end-to-end application accuracies. Meanwhile, our compression system has a compression speed that matches the point cloud generation rate by today LiDARs and out-performs existing compression systems, enabling real-time point cloud transmission.

研究の動機と目的

• 自律走行車両やドローンなどの自律システムにおける、膨大なLiDAR点群データのリアルタイムかつ高効率な圧縮の増大するニーズに対応すること。
• 従来の研究でしばしばトレードオフとされる圧縮レート、圧縮速度、エンドツーエンド応用精度の3つの指標を同時に改善すること。
• 順次的なLiDAR点群において、フレーム内での空間的冗長性（空間的冗長性）とフレーム間での時間的冗長性（時間的冗長性）の両方を活用すること。これは、従来の圧縮手法で未だ十分に活用されていない。
• 現代のLiDARの点群生成レート（5–20 Hz）に一致または上回る速度で、リアルタイムの送信およびクラウドオフロードを可能にすること。
• 従来のPSNRなどの伝統的指標ではなく、登録、物体検出、セグメンテーションなどのタスクにおけるエンドツーエンド応用精度によって、圧縮品質を評価すること。

提案手法

• 効率的で構造的な処理を可能にし、圧縮を加速するために、生の点群をレンジ画像に変換する。
• フレーム系列内でキーフレーム（Kフレーム）を特定し、現実世界のシーンで多くの点が平面的表面にあるという事実を活用して、点群のグループに段階的に平面をフィッティングすることで空間符号化を実行する。
• その後続フレーム（Pフレーム）は、IMU測定値を用いてKフレームの座標系に変換され、重複領域が一致する。
• 時間符号化では、Kフレームで特定された平面を再利用してPフレームの点を符号化することで、冗長な計算を削減し、圧縮効率を向上させる。
• 空間的一致性を活用することで、IMUの不正確さを補償し、耐障害性を向上させる。
• 複数のCPUコアに並列処理を実装することで処理を加速し、高いスループット（PCで最大52.1 FPS、Jetson TX2で20.5 FPS）を達成する。

Fig. 1: Overview of our compression system, which compresses a sequence of consecutive point clouds. All the points clouds are converted to range images to accelerate the compression speed. We first spatially encode the key point-cloud (K-frame) in the sequence, typically the middle one. The spatial

実験結果

リサーチクエスチョン

• RQ1 LiDAR点群系列における空間的冗長性と時間的冗長性を同時に活用することで、現在の最先端手法よりも高い圧縮レートを達成できるか？
• RQ2 このようなシステムは、現代のLiDARの生成レート（5–20 Hz）に一致または上回るリアルタイム圧縮速度を達成できるか？
• RQ3 この圧縮手法は、登録や物体検出などの下流のロボット応用で十分な幾何的忠実度を維持できるか？
• RQ4 時間符号化において空間符号化済みの平面を再利用することで、計算効率と圧縮パフォーマンスにどのような影響を与えるか？
• RQ5 複数の連続フレームを一度に符号化することで、圧縮レート、速度、応用精度にどのような影響を与えるか？

主な発見

• 提案手法は最大90倍の圧縮レートを達成し、MPEGのLiDAR点群圧縮標準を大きく上回った。
• PCでは最大52.1 FPS、モバイルのJetson TX2では20.5 FPSの圧縮速度を達成し、現代のLiDARの一般的な5–20 Hzの生成レートを上回った。
• 登録、物体検出、セグメンテーションタスクにおいて、元の点群と同等のエンドツーエンド応用精度を維持し、既存の圧縮方式を上回った。
• 圧縮速度は、処理する連続フレーム数に強く依存しており、4コアCPU上でフレーム間並列処理を実装することで最大5.4倍の高速化が達成された。
• 応用精度は、符号化するフレーム数の変化に対してほとんど感度を示さず、空間的および時間的符号化点の割合が一定であるため、圧縮レートも安定した。
• 空間符号化済みの平面を時間符号化に再利用することで、冗長な計算が削減され、処理速度と圧縮効率の両方が向上することを実証した。

Fig. 2: Different data structures used in our compression. The raw point clouds are converted to range images. After spatial and temporal encoding, most of the tiles in the range images are plane-encoded; the unfit tiles are left in the residual maps.