[論文レビュー] OctSqueeze: Octree-Structured Entropy Model for LiDAR Compression

Lila Huang, Shenlong Wang+3 more|arXiv (Cornell University)|May 14, 2020

Advanced Neural Network Applications参考文献 1被引用数 14

ひとこと要約

OctSqueeze は、空間的スパarsity と構造を効率的に活用するためのオクトリーデータ構造に基づくエントロピー・モデルを提案する。階層的特徴集約と文脈特徴を活用することで、最先端の圧縮効率を達成する。Draco より最大 43% のビットレート低減を実現しながら、高い再構成品質を維持し、リアルタイムのエンコードを可能にし、低ビットレート下でも 3D 物体検出などの下流タスクで優れた性能を示す。

ABSTRACT

We present a novel deep compression algorithm to reduce the memory footprint of LiDAR point clouds. Our method exploits the sparsity and structural redundancy between points to reduce the bitrate. Towards this goal, we first encode the LiDAR points into an octree, a data-efficient structure suitable for sparse point clouds. We then design a tree-structured conditional entropy model that models the probabilities of the octree symbols to encode the octree into a compact bitstream. We validate the effectiveness of our method over two large-scale datasets. The results demonstrate that our approach reduces the bitrate by 10-20% at the same reconstruction quality, compared to the previous state-of-the-art. Importantly, we also show that for the same bitrate, our approach outperforms other compression algorithms when performing downstream 3D segmentation and detection tasks using compressed representations. Our algorithm can be used to reduce the onboard and offboard storage of LiDAR points for applications such as self-driving cars, where a single vehicle captures 84 billion points per day

研究の動機と目的

• 空間的スパarsity と構造を効率的に活用する LiDAR ポイントクラウド用圧縮手法の開発。
• 親ノードからの文脈特徴を段階的に集約することで、予測精度を向上させるエントロピー・モデルの設計。
• 再構成品質を損なわず、ビットレートを最小限に抑えるとともに、リアルタイムでのエンコード・デコードを実現する。
• Draco や JPEG2000、ボクセルベース手法などの既存ベースラインを、圧縮効率および下流タスク性能の両面で上回ること。
• エントロピー・モデルの予測性能に寄与する各入力特徴（レベル、親ノードの占有状態、オクタントインデックス、空間的位置）の寄与度の検証。

提案手法

• 本手法は、3D LiDAR ポイントクラウドを空間的に一貫性のある領域に再帰的に分割するオクトリーデータ構造を用い、階層的圧縮を実現する。
• エントロピー・モデルは木構造として構築され、各ノードが親ノードからの文脈特徴を集約し、段階的に高次の空間的文脈を統合する。
• 各ノードに対して、4つの入力特徴（オクトリーレベル、親ノードの占有シンボル、オクタントインデックス、空間的位置）を入力とし、予測精度を向上させる。
• K=4 の段階的集約スキームを用い、アブレーションスタディにより最適であると判明した。
• 潜在表現の圧縮に要因分解エントロピー・モデルを用い、ハイパープライアを併用してエンドツーエンドで学習する。
• 最適化されたオクトリーデータ構築と効率的な範囲符号化により、大規模なポイントクラウドでも 100ms 未満のエンコード時間を達成した。

実験結果

リサーチクエスチョン

• RQ1 モデル容量の増加を超えて、親ノードの文脈特徴を段階的に集約することで、エントロピー・モデルの性能が向上するか？
• RQ2 ビットレート低減という観点から、エントロピー・モデルにおける最適な集約段階数（K）は何か？
• RQ3 個々の入力特徴（レベル、親ノードの占有状態、オクタントインデックス、空間的位置）が、モデルの予測性能にどのように寄与しているか？
• RQ4 範囲ベースおよびボクセルベースの圧縮ベースラインを上回るか、圧縮効率および下流タスク性能の両面で？
• RQ5 本手法は大規模な LiDAR ポイントクラウドのリアルタイムエンコード・デコードを実現できるか？

主な発見

• 最適な集約段階数は K=4 であり、K=5 に増加させるとビットレートが 0.1 上昇（深度=12 時に 3.17 から 3.27 bpp）するため、過学習または利得逓減の兆候が示された。
• 親ノードの文脈特徴を集約することで性能が顕著に向上する。集約を実施しない場合、K=0 のモデルと同等の性能にとどまり、モデル容量の増加ではなく、文脈特徴集約が性能向上の鍵であることを示した。
• 4つの入力特徴（レベル、親ノードの占有状態、オクタントインデックス、空間的位置）をすべて含めると、ノードのレベルのみを用いる場合と比較して、深度=12 時に 1.69 bpp のビットレート低減が達成された。
• 深度=16 時に 14.33 bpp を達成し、Draco（18.87 bpp）および JPEG Range（15.91 bpp）を下回るビットレートを実現しながら、再構成品質を維持または上回った。
• 3D 物体検出タスクでは、NorthAmerica データセットで 14.64 bpp で 93.00 AP を達成し、Draco（18.87 bpp 時に 92.78 AP）を上回った。低ビットレート下でも下流タスクの性能が優れていることを示した。
• リアルタイムエンコードを達成しており、大規模なポイントクラウドでも総エンコード時間が 100ms 未満であった。実用的実装可能性を示した。