[論文レビュー] Inter-Frame Compression for Dynamic Point Cloud Geometry Coding

Anique Akhtar, Zhu Li+1 more|arXiv (Cornell University)|Jul 25, 2022

3D Shape Modeling and Analysis被引用数 7

ひとこと要約

本稿では、階層的マルチスケールスパース畳み込みと、新たな「ターゲット座標上の畳み込み」モジュールを活用して、前フレームの特徴から現在のフレーム特徴を予測する、動的ポイントクラウド幾何構造のための深層学習ベースのインターフレーム圧縮フレームワークを提案する。G-PCCに対して91%以上のBD-Rate削減、V-PCCのPフレームモードに対して52%以上の削減を達成し、VRおよび没入型テレビプレゼンス応用分野における損失あり幾何構造圧縮の新たな最先端水準を確立した。

ABSTRACT

Efficient point cloud compression is essential for applications like virtual and mixed reality, autonomous driving, and cultural heritage. This paper proposes a deep learning-based inter-frame encoding scheme for dynamic point cloud geometry compression. We propose a lossy geometry compression scheme that predicts the latent representation of the current frame using the previous frame by employing a novel feature space inter-prediction network. The proposed network utilizes sparse convolutions with hierarchical multiscale 3D feature learning to encode the current frame using the previous frame. The proposed method introduces a novel predictor network for motion compensation in the feature domain to map the latent representation of the previous frame to the coordinates of the current frame to predict the current frame's feature embedding. The framework transmits the residual of the predicted features and the actual features by compressing them using a learned probabilistic factorized entropy model. At the receiver, the decoder hierarchically reconstructs the current frame by progressively rescaling the feature embedding. The proposed framework is compared to the state-of-the-art Video-based Point Cloud Compression (V-PCC) and Geometry-based Point Cloud Compression (G-PCC) schemes standardized by the Moving Picture Experts Group (MPEG). The proposed method achieves more than 88% BD-Rate (Bjontegaard Delta Rate) reduction against G-PCCv20 Octree, more than 56% BD-Rate savings against G-PCCv20 Trisoup, more than 62% BD-Rate reduction against V-PCC intra-frame encoding mode, and more than 52% BD-Rate savings against V-PCC P-frame-based inter-frame encoding mode using HEVC. These significant performance gains are cross-checked and verified in the MPEG working group.

研究の動機と目的

• 動的シーンのための深層学習ベースのポイントクラウド幾何構造圧縮におけるインターフレーム予測の欠如を解決すること。
• 密度の高い動的ポイントクラウドにおける連続フレーム間の時間的相関を活用し、圧縮効率を向上させること。
• MPEG標準のV-PCCおよびG-PCCに加え、最先端の深層学習手法を上回る、スケーラブルで低複雑度のフレームワークを開発すること。
• VR、MRおよびテレビプレゼンス分野における実用的導入を可能にするために、ビットレートを低減しつつ高い再構成品質を維持すること。

提案手法

• 新規の予測ネットワークが、階層的マルチスケール特徴学習を有するスパース3次元畳み込みを用い、前フレームの潜在表現に基づいて現在のフレームを符号化する。
• 「ターゲット座標上の畳み込み」を採用することで、前フレームの特徴を現在のフレームのダウンサンプリング座標にマッピングし、正確な特徴埋め込み予測を可能にする。
• 予測値と実際の特徴の残差を、学習可能な確率的因子分解エントロピー・モデルを用いて圧縮し、効率的な送信を実現する。
• デコーダは、マルチスケール再構成パスを介して段階的に特徴埋め込みをアップスケーリングすることで、階層的にポイントクラウドを再構成する。
• kdツリーによるパーティショニングを用いたブロック単位の符号化をサポートし、大規模ポイントクラウドのスケーラブルな処理を可能にする。
• インターフレーム処理にもかかわらず、GPUアクセラレーションと約200万パラメータのコンactネットワークにより、実行時の効率を維持する。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースのインターフレーム予測方式は、イントラフレームおよび標準のインターフレームコーデックと比較して、動的ポイントクラウド幾何構造の圧縮効率を顕著に向上させることができるか？
• RQ2 提案された「ターゲット座標上の畳み込み」モジュールは、スパースで非構造的なポイントクラウドにおいて、1フレームから次のフレームへ特徴表現を効果的に転送できるか？
• RQ3 提案手法は、多様な動的ポイントクラウドシーケンスにおいて、MPEG標準のV-PCCおよびG-PCCと比較して、BD-Rateおよび再構成品質の点でどの程度優れているか？
• RQ4 ブロック単位の符号化は圧縮性能にどのような影響を及ぼし、実際の運用においてファイル断片化のオーバーヘッドが顕著であるか？

主な発見

• 提案手法は、すべてのテストシーケンスにおいてMPEG G-PCC（オクトリーブ）に対して91%以上のBD-Rate削減を達成した。
• 三辺法に基づく表面近似手法を用いたG-PCCに対しては、84%以上のBD-Rate削減を達成した。
• 最先端の深層学習ベースのイントラフレーム手法PCGCv2と比較して、34%以上のBD-Rate改善を達成した。
• V-PCCのイントラフレーム符号化モードと比較して、62%以上のBD-Rate向上を達成した。
• HEVCを用いたV-PCCのPフレームベースのインターフレームモードと比較して、52%以上のBD-Rate改善を達成した。
• 最大8ブロックまでのブロック単位の符号化では、PSNRが74.56から74.35にわずかに低下するのみで、ビットレートもわずかに増加するにとどまり、パーティショニングに起因する性能劣化は最小限に抑えられている。