[論文レビュー] Sparse Tensor-based Multiscale Representation for Point Cloud Geometry Compression

Jianqiang Wang, Dandan Ding+4 more|arXiv (Cornell University)|Nov 20, 2021

3D Shape Modeling and Analysis参考文献 32被引用数 11

ひとこと要約

本稿では、マルチスケールスパーステンソル表現とスパース畳み込みベースのニューラルネットワークを用いた、統合的で低複雑性の点群幾何圧縮手法であるSparsePCGCを提案する。MP-POV（最も確率の高い正に占有されたボクセル）に注目し、スパースCNNベースの占有確率近似（SOPA）により、クロススケールおよび同じスケールの相関を活用することで、密度の異なる（8iVFB, Owlii, MUVB）および疎な（KITTI, Ford）点群を含む多様なデータセットにおいて、損失なしおよび損失ありの両モードで最先端の圧縮性能を達成した。

ABSTRACT

This study develops a unified Point Cloud Geometry (PCG) compression method through the processing of multiscale sparse tensor-based voxelized PCG. We call this compression method SparsePCGC. The proposed SparsePCGC is a low complexity solution because it only performs the convolutions on sparsely-distributed Most-Probable Positively-Occupied Voxels (MP-POV). The multiscale representation also allows us to compress scale-wise MP-POVs by exploiting cross-scale and same-scale correlations extensively and flexibly. The overall compression efficiency highly depends on the accuracy of estimated occupancy probability for each MP-POV. Thus, we first design the Sparse Convolution-based Neural Network (SparseCNN) which stacks sparse convolutions and voxel sampling to best characterize and embed spatial correlations. We then develop the SparseCNN-based Occupancy Probability Approximation (SOPA) model to estimate the occupancy probability either in a single-stage manner only using the cross-scale correlation, or in a multi-stage manner by exploiting stage-wise correlation among same-scale neighbors. Besides, we also suggest the SparseCNN based Local Neighborhood Embedding (SLNE) to aggregate local variations as spatial priors in feature attribute to improve the SOPA. Our unified approach not only shows state-of-the-art performance in both lossless and lossy compression modes across a variety of datasets including the dense object PCGs (8iVFB, Owlii, MUVB) and sparse LiDAR PCGs (KITTI, Ford) when compared with standardized MPEG G-PCC and other prevalent learning-based schemes, but also has low complexity which is attractive to practical applications.

研究の動機と目的

• 構造的でない、密度がばらつきのある3次元点群を効率的に圧縮する課題に対処すること。
• 不規則に散らばった点の間の空間的相関を、深層学習を用いて占有確率をモデル化することで活用すること。
• 損失なしおよび損失ありの両モードで、多様な点群タイプに対して効果的に機能する統合的圧縮フレームワークを開発すること。
• 計算複雑性を低減するため、関連する正に占有されたボクセル（MP-POVs）にのみスパース畳み込みを適用すること。
• クロススケールおよび同じスケールの空間的事前知識を捉えるマルチスケール表現により、圧縮効率を向上させること。

提案手法

• 本手法はマルチスケールスパーステンソル表現を用い、点群幾何を階層的なボクセルグリッドにダウンスケーリングおよび再サンプリングする。
• 圧縮の主なターゲットとして、最も確率の高い正に占有されたボクセル（MP-POVs）を特定し、計算をこれらのアクティブなボクセルに限定する。
• スパース畳み込みを用いて局所的近傍の変動を抽出・モデル化するため、スパースCNNに基づく特徴抽出ネットワークを設計する。
• スパースCNNベースの占有確率近似（SOPA）モデルは、単一段階（クロススケール）または複数段階（同じスケールの近傍）の相関モデリングを用いて、占有確率を推定する。
• 局所的近傍埋め込み（SLNE）モジュールは、局所的な空間的変動を事前知識として集約することで、より良い確率推定を実現する。
• 同じモデルアーキテクチャをスケール間で共有することで、パラメータの保存を削減し、損失なしおよび損失あり圧縮モードの両方における効率的な推論を可能にする。

Figure 1: Various Representation Models of Voxelized PCG : (a) uniform voxel; (b) octree model (and parent-tree layout); (c) sparse tensor; (d) dyadic voxel downscaling $2\times 2\times 2\downarrow$ from (c); (e) dyadic voxel upscaling $2\times 2\times 2\uparrow$ from (d) to generate MP-POVs and ass

実験結果

リサーチクエスチョン

• RQ1 不規則に分布する3次元点群における空間的相関を、圧縮効率を向上させるためにどのように効果的にモデル化できるか？
• RQ2 統合的で深層学習ベースの圧縮フレームワークは、多様な点群タイプにおいて、損失なしおよび損失ありの両モードで最先端の性能を達成できるか？
• RQ3 スパース畳み込みとマルチスケール表現を用いることで、計算複雑性をどれほど低減しつつも、高い圧縮ゲインを維持できるか？
• RQ4 クロススケールおよび同じスケールの相関モデリングの統合は、点群幾何圧縮における占有確率推定をどの程度向上させるか？
• RQ5 スケール間で同じモデルアーキテクチャを共有することで、最小限のパラメータオーバーヘッドで高い圧縮効率を達成できるか？

主な発見

• SparsePCGCは、密度の高い（8iVFB, Owlii, MUVB）および疎な（KITTI, Ford）点群を含む複数のデータセットにおいて、最先端の圧縮性能を達成し、MPEG G-PCCや他の学習ベースの手法を上回った。
• 損失なし圧縮では、8段階SOPAを用いる場合、モデルパラメータがたった4.9 MBにまで抑えられ、密度の高い点群および疎な点群の両方の処理が効率的に行えるようになった。
• 損失あり圧縮では、密度の高い点群に対してはSLNE強化型SOPAで5.8 MB、単一段階型で0.85 MBのモデルを使用した。また、疎なLiDARデータに対しては、それぞれ21.7 MBおよび31.6 MBのモデルを使用した。
• 本手法は低計算複雑性を維持しており、1点群あたりのエンコードおよびデコード時間がそれぞれ約1〜2秒であり、OctAttentionを上回り、G-PCCバージョン14の約2倍の速度でデコードが可能だった。
• 提案されたSOPAモデルは、同じCRM後処理モジュールを用いてもVCNやOctAttentionを上回る優れたBD-RATEゲインを達成しており、堅牢性と一般化能力を示した。
• スパース畳み込みとマルチスケール表現の活用により、空間的事前知識が効果的に活用され、占有確率推定が著しく向上し、ビットストリームサイズが削減された。

Figure 2: SparsePCGC. In the encoding process (blue arrows), we progressively downscale the PCG tensor and encode occupied voxels at each scale into the binary stream according to their occupancy probability; As for the decoding flow (red arrows), we exactly reconstruct occupied voxels, e.g., POV or