[論文レビュー] A Comprehensive Study and Comparison of Core Technologies for MPEG 3D Point Cloud Compression

Hao Liu, Hui Yuan+3 more|arXiv (Cornell University)|Dec 20, 2019

Advanced Vision and Imaging参考文献 34被引用数 4

ひとこと要約

本論文は、MPEGの3次元点群圧縮（PCC）基準におけるコア技術を包括的に比較し、TMC13（G-PCC）およびTMC2（V-PCC）エンコーダーのレート・ディストーション性能、複雑さ、耐障害性を評価している。TMC2は、特に損失あり幾何と損失あり色の圧縮において最高の平均圧縮効率を達成している一方、TMC13は、計算コストが低く、疎でノイジーな点群において優れた性能を発揮する。

ABSTRACT

Point cloud based 3D visual representation is becoming popular due to its ability to exhibit the real world in a more comprehensive and immersive way. However, under a limited network bandwidth, it is very challenging to communicate this kind of media due to its huge data volume. Therefore, the MPEG have launched the standardization for point cloud compression (PCC), and proposed three model categories, i.e., TMC1, TMC2, and TMC3. Because the 3D geometry compression methods of TMC1 and TMC3 are similar, TMC1 and TMC3 are further merged into a new platform namely TMC13. In this paper, we first introduce some basic technologies that are usually used in 3D point cloud compression, then review the encoder architectures of these test models in detail, and finally analyze their rate distortion performance as well as complexity quantitatively for different cases (i.e., lossless geometry and lossless color, lossless geometry and lossy color, lossy geometry and lossy color) by using 16 benchmark 3D point clouds that are recommended by MPEG. Experimental results demonstrate that the coding efficiency of TMC2 is the best on average (especially for lossy geometry and lossy color compression) for dense point clouds while TMC13 achieves the optimal coding performance for sparse and noisy point clouds with lower time complexity.

研究の動機と目的

• MPEGのコア3次元点群圧縮技術のレート・ディストーション性能、複雑さ、耐障害性を評価・比較すること。
• 静的および動的点群圧縮におけるTMC13（G-PCC）およびTMC2（V-PCC）のエンコーダー・アーキテクチャを詳細に分析すること。
• 点群の特性（密度、疎、ノイジー）および圧縮設定（無損失／損失あり幾何と色）に応じた最適な設定を特定すること。
• 今後の3次元点群圧縮分野における研究および標準化のための定量的ベンチマークを提供すること。

提案手法

• 幾何と属性予測に基づき、幾何と属性予測を用いた3つのエンコーダー・バージョン（RAHT、LoD（詳細レベルなし／あり））を用いたTMC13の評価。
• 動的点群圧縮に向け、ベクトルベースの動き補償および予測符号化を用いたTMC2の実装とベンチマーク。
• 標準的な指標の適用：レート・ディストーション（R-D）性能、時間的複雑さ（エンコード時間）、および主観的品質評価。
• 再現可能性を確保するため、さまざまな密度とノイズレベルを有する16の標準化MPEGベンチマーク点群の使用。
• 4つの圧縮設定（無損失幾何／無損失色、無損失幾何／損失あり色、損失あり幾何／損失あり色、損失あり幾何／無損失色）におけるエンコード時間とR-D性能の定量的比較。
• 三角形表面近似法と直接幾何量子化法の導入により、複雑さと性能のトレードオフを評価。

実験結果

リサーチクエスチョン

• RQ1 TMC13とTMC2は、異なる圧縮設定（無損失／損失あり幾何と色）において、レート・ディストーション効率でどのように性能を発揮するか？
• RQ2 TMC13内でのエンコーダー・アーキテクチャ（RAHT、LoD（LTなし）、LoD（LTあり））の中で、特に低ビットレート下で最高のR-D性能を達成するのはどれか？
• RQ3 点群の密度とノイズは、TMC13およびTMC2の性能と複雑さにどのような影響を与えるか？
• RQ4 TMC2の時間的複雑さはTMC13の各部品と比較してどの程度で、リアルタイム応用に最適化可能か？
• RQ5 点群間品質指標は、再構築された点群の主観的視覚品質とどの程度相関しているか？

主な発見

• TMC2は、特に損失あり幾何と損失あり色圧縮において、密度の高い点群において最高の平均レート・ディストーション性能を達成している。
• 疎でノイジーな点群においては、TMC13のLoDエンコーダー（LTあり）がTMC2を上回り、TMC2は投影された2次元平面での相関性の欠如により困難を訴えている。
• TMC13のRAHTエンコーダーは、最も低い時間的複雑さ（ケース3で平均778.98秒）を示し、一方TMC2は最も高い（平均1593.47秒）ため、高い計算コストがかかる。
• LoDエンコーダー（LTあり）は、特に低ビットレート下で最も優れたR-D性能を発揮するが、疎なデータに対しては効果が薄い。
• TMC13における三角形表面近似法は、直接幾何量子化法よりも著しく時間がかかるため、複雑さの増加に寄与している。
• 点対点品質指標は、主観的視覚品質の評価に不適切であると判明し、より良い知覚的指標の導入が求められる。