[論文レビュー] IT/IST/IPLeiria Response to the Call for Proposals on JPEG Pleno Point Cloud Coding

André F. R. Guarda, Nuno M. M. Rodrigues+4 more|arXiv (Cornell University)|Aug 4, 2022

3D Surveying and Cultural Heritage被引用数 11

ひとこと要約

本論文では、JPEG Pleno Point Cloud Coding Call for Proposals に提出された、深層学習に基づく点群幾何符号化方式と、幾何・色合いを統合した符号化方式を提示する。幾何符号化方式は、MPEG G-PCC よりも優れた圧縮効率を達成し、テストセットにおいて V-PCC Intra と競合する性能を示すが、統合符号化方式は品質の飽和により性能向上が制限される。

ABSTRACT

This document describes a deep learning-based point cloud geometry codec and a deep learning-based point cloud joint geometry and colour codec, submitted to the Call for Proposals on JPEG Pleno Point Cloud Coding issued in January 2022. The proposed codecs are based on recent developments in deep learning-based PC geometry coding and offer some of the key functionalities targeted by the Call for Proposals. The proposed geometry codec offers a compression efficiency that outperforms the MPEG G-PCC standard and outperforms or is competitive with the V-PCC Intra standard for the JPEG Call for Proposals test set; however, the same does not happen for the joint geometry and colour codec due to a quality saturation effect that needs to be overcome.

研究の動機と目的

• 新たな 3D メディア規格における効率的な点群圧縮のニーズに対応すること。
• MPEG G-PCC などの既存規格を上回る性能を示す深層学習ベースの幾何符号化方式を開発すること。
• 深層学習を用いた幾何と色合いの統合符号化により、圧縮効率の向上を図ること。
• JPEG Pleno Point Cloud Coding Call for Proposals に対して、競争力があり最新のソリューションを提供すること。
• 品質の飽和といった制限要因を特定し、それらに対処すること。

提案手法

• 幾何符号化方式は、深層ニューラルネットワークを用いて幾何座標を予測・圧縮する学習可能な点群表現を採用する。
• 局所的およびグローバルな点群構造を効率的にモデル化するため、階層的特徴学習フレームワークを用いる。
• 共通のネットワークアーキテクチャを通じて空間的および意味的特徴を統合し、幾何と色合いの符号化を同時に最適化する。
• 微分可能な量子化とエントロピーモデルを適用することで、高効率なレート・ディストーション性能を実現する損失あり圧縮を可能にする。
• L2 損失と知覚的再構成損失の組み合わせを用いて、JPEG Pleno テストセット上でエンドツーエンドに訓練する。
• スケーラブルな符号化をサポートし、実用的デプロイメントに適したさまざまなビットレート設定を対応可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースの幾何符号化方式は、MPEG G-PCC のような既存規格を上回る点群圧縮効率を達成できるか？
• RQ2 統合幾何・色合い符号化方式のレート・ディストーション性能は、独立した幾何符号化方式と比べてどのように異なるか？
• RQ3 現在の深層学習ベースの統合符号化アプローチにおける制限要因、特に品質の飽和とは何か？
• RQ4 エンドツーエンドで学習された符号化方式は、スケーラビリティと規格適合要件をどの程度満たせるか？
• RQ5 提案手法は、多様な点群コンテンツや変動する幾何的複雑さに対し、どのように対処するか？

主な発見

• 提案された幾何符号化方式は、JPEG Pleno テストセットにおいて MPEG G-PCC よりも優れた圧縮効率を達成した。
• 幾何符号化方式は、レート・ディストーション性能の観点から、V-PCC Intra 標準と同等またはそれ以上の性能を示した。
• 統合幾何・色合い符号化方式には、高い圧縮効率にもかかわらず品質の飽和効果が見られ、さらなる向上が制限された。
• 統合符号化方式の性能は、レート・ディストーション効率の観点から、幾何のみの符号化方式を上回っていないことから、統合最適化におけるトレードオフが明らかになった。
• 深層学習ベースのアプローチは、規格適合性を備えたスケーラブルかつエンドツーエンドの点群圧縮の強力な可能性を示した。
• 結果から、統合幾何・色合い符号化における品質の飽和を克服するための、より優れた統合最適化戦略の必要性が浮き彫りになった。