[論文レビュー] Perceptual Quality Assessment of Colored 3D Point Clouds

Honglei Su, Qi Liu+3 more|arXiv (Cornell University)|Nov 10, 2021

3D Shape Modeling and Analysis被引用数 6

ひとこと要約

本稿では、マルチビュー投影を用いた情報量重み付き構造的類似度に基づき、色付き3次元ポイントクラウドの新しい目的的知覚品質評価モデルであるIW-SSIM$_{\text{p}}$を提案する。本研究では、20個のオリジナルのオムニディレクショナルで高密度かつ多様なポイントクラウドから派生した740個の歪み付きポイントクラウドを含む、公開可能な最大規模かつ高品質なポイントクラウドデータベース（WPC）を構築し、提案モデルが複数のデータベースにおいて主観的品質評価と顕著に高い相関を示すことを実証した。

ABSTRACT

The real-world applications of 3D point clouds have been growing rapidly in recent years, but not much effective work has been dedicated to perceptual quality assessment of colored 3D point clouds. In this work, we first build a large 3D point cloud database for subjective and objective quality assessment of point clouds. We construct 20 high quality, realistic, and omni-directional point clouds of diverse contents. We then apply downsampling, Gaussian noise, and three types of compression algorithms to create 740 distorted point clouds. We carry out a subjective experiment to evaluate the quality of distorted point clouds. Our statistical analysis finds that existing objective point cloud quality assessment (PCQA) models only achieve limited success in predicting subjective quality ratings. We propose a novel objective PCQA model based on the principle of information content weighted structural similarity. Our experimental results show that the proposed model well correlates with subjective opinions and significantly outperforms the existing PCQA models. The database has been made publicly available to facilitate reproducible research at https://github.com/qdushl/Waterloo-Point-Cloud-Database.

研究の動機と目的

• 知覚的品質評価のためのスケーラブルで高品質かつ多様なポイントクラウドデータベースの不足に対処すること。
• 既存の目的的ポイントクラウド品質評価（PCQA）モデルが人間の主観的品質評価を予測する際の限界を特定すること。
• 情報量重み付けと構造的類似度を組み込むことで、人間の知覚により適合する新しい目的的PCQAモデルを開発すること。
• 今後のポイントクラウド処理および品質評価研究のための公開可能で再現可能なベンチマークデータベース（WPC）を確立すること。

提案手法

• 20個のオリジナルの色付き3次元ポイントクラウドを、オムニディレクショナルかつ多様な高品質なセットとして構築し、各ポイントクラウドを平均135万点にボクセル化する。
• ダウンサンプリング、ガウスノイズ、および3種類の圧縮アルゴリズム（G-PCC、V-PCC、Draco+JPEG）の4種類の歪みタイプを適用し、740個の歪み付きポイントクラウドを生成する。
• 208名の参加者を対象に、ラボ環境下で二重刺激独立評価（DSIS）の主観的テストを実施し、すべての歪み付きポイントクラウドの平均意見スコア（MOS）を収集する。
• 情報量に基づく重み付けと構造的類似度を用いた、新しい投影ベースの目的的PCQAモデルであるIW-SSIM$_{\text{p}}$を提案する。
• t検定を用いた統計的有意性検定により、IW-SSIM$_{\text{p}}$と14種類の既存PCQAモデルの性能を複数のデータベースで比較する。
• 7つの既存のPCQAデータベースを用いたクロスデータベース検証により、提案モデルの汎用性とロバスト性を評価する。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ多様で高品質なポイントクラウドデータベース上で評価された場合、既存の目的的PCQAモデルは主観的品質評価をどれほど正確に予測できるか？
• RQ2 情報量重み付けと構造的類似度を組み込んだ投影ベースの目的的PCQAモデルは、現在の最先端モデルよりも人間の知覚的品質をよりよく予測できるか？
• RQ3 提案されたIW-SSIM$_{\text{p}}$モデルは、コンテンツや歪みタイプが異なる複数のポイントクラウドデータベースにおいて、どの程度の汎用性を示すか？
• RQ4 GraphSIM、PointSSIM、PCQM、PCM RRなどの既存モデルと比較して、提案モデルの性能と計算効率はいかがであるか？

主な発見

• 提案されたIW-SSIM$_{\text{p}}$モデルはWPCデータベースでPLCC 0.8504を達成し、GraphSIM（0.4420）やPCM RR（0.3436）を含むすべての既存モデルを顕著に上回った。
• クロスデータベース検証において、IW-SSIM$_{\text{p}}$はICIP2020データベースで最高のSRCC 0.8968、WPCデータベースで0.8481を達成し、主観的評価と強い相関があることを示した。
• 統計的有意性検定により、IW-SSIM$_{\text{p}}$は他のすべての評価モデルよりも顕著に優れていることが確認され、他のモデルが統計的に優れた性能を示すことはなかった。
• WPCデータベースにおけるRMSEは12.0620であり、PCM RR（22.9234）、PointSSIM（21.5273）、GraphSIM（20.5640）よりも顕著に低く、より高い予測精度を示した。
• 既存の幾何学的のみの歪み評価指標と、幾何学的および色情報を持つ指標は統計的に区別できず、しかし提案モデルは一貫してそれらを上回った。
• 740個の歪み付きポイントクラウドと、劣悪から優良まで均等に分布したMOSを有するWPCデータベースは、今後のPCQA研究の強固なベンチマークを提供する。