[論文レビュー] Multiscale Point Cloud Geometry Compression

Jianqiang Wang, Dandan Ding+2 more|arXiv (Cornell University)|Nov 7, 2020

3D Shape Modeling and Analysis参考文献 17被引用数 5

ひとこと要約

本稿では、段階的な再サンプリングを介して幾何を階層的に再構築する、マルチスケールでスパース畳み込みに基づくエンドツーエンド学習フレームワークを提案する。スパース畳み込みによるスパarsityの活用と、幾何のロスess octree圧縮と学習された確率的圧縮の分離により、MPEG G-PCC よりも70%以上のBD-Rate向上、V-PCC よりも40%の向上を達成し、メモリと計算コストを著しく削減した。

ABSTRACT

Recent years have witnessed the growth of point cloud based applications because of its realistic and fine-grained representation of 3D objects and scenes. However, it is a challenging problem to compress sparse, unstructured, and high-precision 3D points for efficient communication. In this paper, leveraging the sparsity nature of point cloud, we propose a multiscale end-to-end learning framework which hierarchically reconstructs the 3D Point Cloud Geometry (PCG) via progressive re-sampling. The framework is developed on top of a sparse convolution based autoencoder for point cloud compression and reconstruction. For the input PCG which has only the binary occupancy attribute, our framework translates it to a downscaled point cloud at the bottleneck layer which possesses both geometry and associated feature attributes. Then, the geometric occupancy is losslessly compressed using an octree codec and the feature attributes are lossy compressed using a learned probabilistic context model.Compared to state-of-the-art Video-based Point Cloud Compression (V-PCC) and Geometry-based PCC (G-PCC) schemes standardized by the Moving Picture Experts Group (MPEG), our method achieves more than 40% and 70% BD-Rate (Bjontegaard Delta Rate) reduction, respectively. Its encoding runtime is comparable to that of G-PCC, which is only 1.5% of V-PCC.

研究の動機と目的

• ネットワーク応用向けに、スパースで非構造的かつ高精度な3次元点群を効率的に圧縮する課題に対処すること。
• 従来の深層学習ベースの手法で点群のスパarsityを十分に活用できない、密度の高い3次元畳み込みの非効率性を克服すること。
• レート・ディストーション性能と計算コストのバランスを取った、低複雑性で高効率な学習ベースの圧縮フレームワークを開発すること。
• 既存の学習ベースの手法と比較して、メモリフットプリントと実行時間の両方を削減することで、深層学習ベースの点群圧縮の実用的導入を可能にすること。

提案手法

• 入力点群幾何をバイナリオクテーションボクセルとして表現し、スパース畳み込みに基づくオートエンコーダーを用いて処理する。
• プログレッシブなマルチスケール再サンプリングを実装：エンコーダーでダウンスケーリング、デコーダーでアップスケーリングすることで、スパarsityを活用し、局所的な幾何的構造を特徴表現に埋め込む。
• ボトルネック部で、幾何的オカプシオンをオクテートコーデックでロスレス圧縮し、特徴属性を学習された確率的文脈モデルで圧縮する。
• 全スケールにわたりビットレートと再構築歪みを同時に最適化するために、バイナリクロスエントロピー（BCE）損失を用いる。
• 自己回帰的事前分布（3次元マスク畳み込みを介して）またはハイパーピリオド（特徴のダウンスケーリングを介して）を用いた適応的文脈モデリングを適用し、レート・ディストーション性能を向上させる。
• スパーステンソル演算を活用することで、密度のある畳み込みアプローチと比較して、メモリとFLOPsを著しく削減する。

実験結果

リサーチクエスチョン

• RQ1 マルチスケールでスパース畳み込みに基づくオートエンコーダー・フレームワークは、標準のV-PCCおよびG-PCCコーデックと比較して優れたレート・ディストーション性能を達成できるか？
• RQ2 プログレッシブな再サンプリングとスパース畳み込みを用いることで、点群のスパarsityをどの程度活用し、計算コストとメモリコストを削減できるか？
• RQ3 最先端の学習ベースの圧縮手法（例：Learned-PCGC）と比較して、エンコーディング／デコーディングの複雑さとメモリ使用量において、本手法はどのように比較されるか？
• RQ4 自己回帰的またはハイパーピリオドを用いた適応的文脈モデリングは、計算コストを著しく増加させることなく、圧縮効率をさらに向上させられるか？

主な発見

• 提案手法は、標準テストシーケンスにおいて、MPEG G-PCC よりも70.2%のBD-Rate低減、V-PCC よりも40.1%のBD-Rate低減を達成した。
• 単一スケール再構築と比較して、メモリ使用量を約75%削減し、計算速度を3倍向上した。
• エンコーディングおよびデコーディングの実行時間は、8iVFBでG-PCCと同等（1.58秒および5.40秒）であり、V-PCC（103.45秒）よりも著しく高速で、GPUメモリ使用量はそれぞれ333 MBおよび1,273 MBにとどまった。
• モデルはたった778kパラメータ（約3.2 MB）しか使用しないため、リソース制限のあるデバイスへのデプロイに適している。
• 自己回帰的事前分布を組み込むと7.2%のBD-Rate低減が、ハイパーピリオドを組み込むと4.14%の改善が得られた。
• 主観的な再構築品質は、V-PCCおよびG-PCCを上回り、明確な幾何的ディテールが保持されていた。