[論文レビュー] PointPCA: Point Cloud Objective Quality Assessment Using PCA-Based Descriptors

Evangelos Alexiou, Zhou, Xuemei+2 more|arXiv (Cornell University)|Nov 24, 2021

3D Shape Modeling and Analysis被引用数 11

ひとこと要約

PointPCAは、主成分分析（PCA）を用いた幾何的およびテクスチャ的記述子を用いて、3Dポイントクラウドの完全参照型の客観的品質指標を提示する。局所的近傍における幾何データおよびカラー情報のPCA分解から統計的特徴量を抽出し、ランダムフォレスト回帰を用いて統合することで、複数の主観的データセットで最先端の性能を達成し、PLCCは最大0.942、SROCCは最大0.942を記録した。

ABSTRACT

Point clouds denote a prominent solution for the representation of 3D photo-realistic content in immersive applications. Similarly to other imaging modalities, quality predictions for point cloud contents are vital for a wide range of applications, enabling trade-off optimizations between data quality and data size in every processing step from acquisition to rendering. In this work, we focus on use cases that consider human end-users consuming point cloud contents and, hence, we concentrate on visual quality metrics. In particular, we propose a set of perceptually relevant descriptors based on Principal Component Analysis (PCA) decomposition, which is applied to both geometry and texture data for full-reference point cloud quality assessment. Statistical features are derived from these descriptors to characterize local shape and appearance properties for both a reference and a distorted point cloud. The extracted statistical features are subsequently compared to provide corresponding predictions of visual quality for the distorted point cloud. As part of our method, a learning-based approach is proposed to fuse these individual predictors to a unified perceptual score. We validate the accuracy of the individual predictors, as well as the unified quality scores obtained after regression against subjectively annotated datasets, showing that our metric outperforms state-of-the-art solutions. Insights regarding design decisions are provided through exploratory studies, evaluating the performance of our metric under different parameter configurations, attribute domains, color spaces, and regression models. A software implementation of the proposed metric is made available at the following link: https://github.com/cwi-dis/pointpca.

研究の動機と目的

• インマーシブ応用におけるポイントクラウドコンテンツ向けに、知覚的に関連性のある完全参照型の客観的品質指標を開発すること。
• 既存の指標の限界を克服するため、局所的な形状および外観特性を捉えるPCAベースの記述子を活用すること。
• 学習ベースの回帰フレームワークを用いて複数のハンドクラフト特徴量を統合することで、品質予測の精度を向上させること。
• 多様なデータセットでの検証を通じて、最適なパrameter設定、色空間、特徴量組み合わせに関する知見を提供すること。

提案手法

• ポイントクラウドの局所的近傍における幾何データおよびカラー情報にPCAを適用し、主成分を形状および外観記述子として抽出すること。
• PCA分解の固有値および固有ベクトルから、各局所領域について平均、分散、歪度、尖度といった統計的特徴量を計算すること。
• 参照点群と歪曲点群の間の統計的記述子を比較し、幾何およびテクスチャにおける知覚的歪みを定量化すること。
• 個々の幾何的およびテクスチャ的予測子をランダムフォレスト回帰を用いて統合し、統一された品質スコアを生成すること。
• 複数の回帰モデル（例：R3、R6）を評価し、アブレーションスタディを通じて最良の性能を示す構成を選定すること。
• 公開済みの主観的データセットを用いて検証し、さまざまな劣化タイプおよびデータセットにおける性能を分析すること。

実験結果

リサーチクエスチョン

• RQ1 PCAベースの幾何的およびテクスチャ的記述子は、ポイントクラウドにおける知覚的に関連する歪みをどれほど効果的に捉えられるか？
• RQ2 PCAから導出される統計的特徴量のどの組み合わせが主観的品質スコアとの相関を最も高めるか？
• RQ3 色空間および記述子ドメイン（幾何 vs. テクスチャ）の選択が、全体の品質予測性能にどのように影響するか？
• RQ4 回帰モデル（例：ランダムフォレストの変種）のうち、多様なポイントクラウドデータセットにわたって最も優れた汎化性能と予測精度を示すのはどれか？
• RQ5 提案された指標は、データセット内およびクロスデータセット評価の両方において、既存の最先端の客観的品質指標を上回ることができるか？

主な発見

• R3回帰モデルを用いた場合、D1データセットでPLCC 0.942、SROCC 0.942を達成し、既存の指標を上回った。
• R3およびR6ランダムフォレストモデルは、最高の汎化性能を示し、R3はD1で、R6はD3で優れた性能を発揮した。
• すべてのテスト済みデータセットにおいて、テクスチャ的PCA記述子が幾何的記述子よりも一貫して高い精度を示した。
• クロスデータセット評価においても、高い性能（PLCC > 0.80）を維持しており、分布シフトに対して強いロバストネスを示した。
• 予備的スタディでは、幾何およびテクスチャの両方の記述子を用い、知覚的に関連する色空間を組み合わせることで、予測精度が顕著に向上することが確認された。
• 提案された指標は、3つのテストデータセット（D1、D2、D3）すべてでSOTAソリューションを上回り、相関指標において統計的に有意な向上を示した。