[論文レビュー] MuSCLE: Multi Sweep Compression of LiDAR using Deep Entropy Models

Sourav Biswas, Jerry Liu+3 more|arXiv (Cornell University)|Nov 15, 2020

Video Surveillance and Tracking Methods被引用数 14

ひとこと要約

MuSCLEは、複数スイープ間の空間時間的冗長性を条件付きエントロピーモデルでモデル化することで、幾何学と強度を同時に圧縮する深層学習ベースの圧縮フレームワークを提案する。SemanticKITTIおよびUrbanCityにおいて、最先端の手法よりも6–19%のビットレート低減を達成し、下流の認識タスクの性能を維持する。

ABSTRACT

We present a novel compression algorithm for reducing the storage of LiDAR sensor data streams. Our model exploits spatio-temporal relationships across multiple LiDAR sweeps to reduce the bitrate of both geometry and intensity values. Towards this goal, we propose a novel conditional entropy model that models the probabilities of the octree symbols by considering both coarse level geometry and previous sweeps' geometric and intensity information. We then use the learned probability to encode the full data stream into a compact one. Our experiments demonstrate that our method significantly reduces the joint geometry and intensity bitrate over prior state-of-the-art LiDAR compression methods, with a reduction of 7-17% and 15-35% on the UrbanCity and SemanticKITTI datasets respectively.

研究の動機と目的

• 自動運転車両およびロボットからの連続するLiDARデータストリームの高コストなストレージと帯域幅を低減すること。
• 従来の手法がスイープごとに独立して点群を圧縮しており、時間的相関を無視しているという制限を克服すること。
• しばしば従来の圧縮作業で無視されがちな幾何学的座標と強度値を同時に圧縮すること。
• 空間時間的依存関係をモデル化することで圧縮効率を向上させる統合フレームワークを開発すること。
• 圧縮データが下流の認識タスク（検出やセグメンテーションなど）に十分な品質を維持すること。

提案手法

• リーフノードに点群の位置と強度値を格納し、内部ノードに8ビットの占有状態シンボルを格納する量子化されたオクトリーツとしてLiDAR点群を表現する。
• 現在のスイープからの粗い幾何学と、過去のスイープからの空間的に整合された特徴を用いて、占有状態シンボルの確率を予測する深層条件付きエントロピー・モデルを設計する。
• 複数スイープにわたる隣接ノードからのマルチスケールのコンテキストを連続畳み込みで集約し、占有状態と強度シンボルの確率推定を向上させる。
• 過去スイープからの空間的・時間的に整合された特徴を条件として強度の圧縮を実行し、強度値の予測を向上させる。
• エントロピー・モデルから得られた学習済み確率分布を用いて、損失なしのエントロピー・コーダー（例：範囲符号化）に適用し、最終的な圧縮ビットストリームを生成する。
• ビットレートと再構築品質の両方を同時に最適化する、エンドツーエンドで学習可能な統合フレームワーク内で幾何学と強度の圧縮を統合する。

実験結果

リサーチクエスチョン

• RQ1 複数スイープにわたる空間時間的相関をモデル化することで、点群データストリームのビットレートを顕著に低減できるか？
• RQ2 深層条件付きエントロピー・モデルは、スイープ間で幾何学と強度の結合的依存関係をどれほど的確に捉えられるか？
• RQ3 過去スイープの情報を組み込むことで、占有状態と強度値の両方の圧縮効率がどの程度向上するか？
• RQ4 提案された圧縮手法は、下流の認識タスク（セグメンテーションや検出など）の性能を維持するために十分な構造的・強度的忠実度を保持しているか？
• RQ5 幾何学的構造にのみ焦点を当てた手法と比較して、幾何学と強度の共同圧縮が優れているか？

主な発見

• UrbanCityデータセットでは、最先端の手法と比較して、MuSCLEは幾何学と強度の合算ビットレートを7–17%低減した。
• SemanticKITTIデータセットでは、MuSCLEは高品質な再構築を維持しながら、ビットレートを6–19%低減した。
• 過去スイープからのマルチスケールのコンテキストを集約するために連続畳み込みを導入したことで、単純なモデルと比較して強度圧縮が11–12%向上した。
• アブレーションスタディの結果、過去スイープ情報、トップダウンおよびボトムアップ特徴、連続畳み込みの組み込みが、再構築品質を損なわず一貫してビットレートを低減することが確認された。
• MuSCLEによる再構築は、下流タスクにおける最小限のリアリズムギャップを維持している：低ビットレートでも、セマンティックセグメンテーションとオブジェクト検出の性能が、圧縮されていないデータとほぼ同一であった。
• 本手法は、多様な都市環境においても一貫した性能向上を示し、大規模なベンチマークデータセットで安定した利点を示した。