[論文レビュー] Inferring Point Cloud Quality via Graph Similarity

Qi Yang, Zhan Ma+3 more|arXiv (Cornell University)|May 31, 2020

Optical Imaging and Spectroscopy Techniques被引用数 12

ひとこと要約

本稿では、人間の視覚的知覚をモデル化するためにグラフ信号処理を活用する、3次元点群のための新規な目的的品質評価指標であるGraphSIMを提案する。幾何的キーポイントの抽出、局所的グラフの構築、およびグラフ構造間での色勾配類似度の計算により、2つの独立したデータセットにおいて主観的MOSと最先端の相関を達成し、MPEG規格で用いられる点単位の指標を上回る性能を発揮する。

ABSTRACT

We propose the GraphSIM -- an objective metric to accurately predict the subjective quality of point cloud with superimposed geometry and color impairments. Motivated by the facts that human vision system is more sensitive to the high spatial-frequency components (e.g., contours, edges), and weighs more to the local structural variations rather individual point intensity, we first extract geometric keypoints by resampling the reference point cloud geometry information to form the object skeleton; we then construct local graphs centered at these keypoints for both reference and distorted point clouds, followed by collectively aggregating color gradient moments (e.g., zeroth, first, and second) that are derived between all other points and centered keypoint in the same local graph for significant feature similarity (a.k.a., local significance) measurement; Final similarity index is obtained by pooling the local graph significance across all color channels and by averaging across all graphs. Our GraphSIM is validated using two large and independent point cloud assessment datasets that involve a wide range of impairments (e.g., re-sampling, compression, additive noise), reliably demonstrating the state-of-the-art performance for all distortions with noticeable gains in predicting the subjective mean opinion score (MOS), compared with those point-wise distance-based metrics adopted in standardization reference software. Ablation studies have further shown that GraphSIM is generalized to various scenarios with consistent performance by examining its key modules and parameters.

研究の動機と目的

• 非構造的かつ非一様な幾何構造と重ねられた色の歪みを伴う3次元点群において、人間の知覚を正確に反映する目的的品質指標の不足に対処すること。
• MPEG規格で用いられる点単位の距離指標（例：PSNR）の限界を克服すること。これらの指標はエッジや高周波成分に対する知覚的感受性をモデル化できない。
• グラフ信号処理の原則を活用して、幾何的および色の歪みを統合的に評価できるスケーラブルで頑健な指標を開発すること。
• 点数の変化に関係なく、リサンプリング、圧縮、ノイズなど多様な歪みに対して公平で一貫性のある品質評価を可能にすること。
• 実用的な点群処理パイプラインへの導入を想定し、固定または入力依存のパラメータを持つシステムフレンドリーな指標を提供すること。

提案手法

• エッジや輪郭などの高周波数構造を表す幾何的キーポイントを抽出するために、参照点群を再サンプリングする。
• ユークリッド距離と信号類似度に基づく重み付き隣接行列を用いて、各キーポイントを中心に局所的グラフを構築する。
• 正規化された色値（RGB）を信号属性として定義し、各グラフ内での局所的色勾配モーメント（平均、分散、共分散）を計算する。
• 各色チャネルについて、局所的グラフ内のすべての点における色勾配統計を集約して、局所的重要性類似度特徴を算出する。
• すべてのグラフの局所的重要性特徴をプールし、色チャネル間で平均化して最終的な類似度インデックスを生成する。
• 幾何的および色ベースの近接性を組み合わせた修正されたグラフ重み関数を用い、信号分布とボクシングボックス正規化に基づく適応的スケーリングを実施する。

実験結果

リサーチクエスチョン

• RQ1 非構造的3次元点群における構造的および色の歪みに対する人間の視覚的感受性を効果的にモデル化するために、グラフ信号処理を適用できるか？
• RQ2 GraphSIMの性能は、標準化された点単位の指標（例：PSNR）および既存の最先端指標と比較して、多様な点群歪みにおいてどのように異なるか？
• RQ3 グラフ構築時に幾何的および色の属性を併用することで、品質評価の頑健性と正確性がどの程度向上するか？
• RQ4 GraphSIMは、圧縮、リサンプリング、ノイズを含む多様な点群コンテンツおよび歪みタイプに対して、どの程度一般化可能か？
• RQ5 グラフタイプ、信号タイプ、パラメータチューニングといった主な設計選択が、最終的な品質予測性能に及ぼす影響はいかほどか？

主な発見

• SJTU-PCQAデータセットにおいて、混合幾何的および色の属性を用いた場合、GraphSIMはPLCC 0.9417、SROCC 0.9213を達成し、幾何のみまたは色のみのグラフタイプを著しく上回る。
• 多様な歪みに対して強固であることが示され、SJTU-PCQAおよびIPRCデータベースの両方でPLCC > 0.93、SROCC > 0.92を達成し、主観的MOSと強い相関を示す。
• 幾何と色の両方をグラフ構築に組み込む（混合タイプ）ことで最良の性能（PLCC: 0.9417、SROCC: 0.9213）が得られ、幾何のみのグラフは色のみまたはハイブリッド重み付きグラフよりも優れる。
• アブレーションスタディにより、GraphSIMは異なる点群コンテンツおよび歪みタイプにおいても高い性能を維持し、PSNRおよびMPEGリファレンスソフトウェア指標を一貫して上回ることが確認された。
• パラメータの変化に対しても性能が安定しており、キーポイント抽出および局所的グラフ構築といった主要モジュールが知覚的正確性に顕著に寄与している。
• 混合属性を用いた場合、'LongDress'シーケンスでRMSE 0.7961を達成し、幾何のみ（RMSE: 1.1399）や他の設定よりも優れた正確性を示した。