[論文レビュー] Blind Quality Assessment of 3D Dense Point Clouds with Structure Guided Resampling

Wei Zhou, Qi Yang+3 more|arXiv (Cornell University)|Aug 31, 2022

Image and Video Quality Assessment被引用数 8

ひとこと要約

本稿では、法線ベクトルに基づくキーポイント再サンプリングと領域構築を用いて幾何密度、色の自然さ、角度の一貫性の特徴を抽出する、3次元密集点群の盲目的／非参照品質評価手法である構造ガイドドリサンプリング（SGR）を提案する。本手法は、複数の主観的データベースで最先端の性能を達成しており、SVR回帰を用いたSJTUデータベースではSROCCが0.91、PLCCが0.93に達する。

ABSTRACT

Objective quality assessment of 3D point clouds is essential for the development of immersive multimedia systems in real-world applications. Despite the success of perceptual quality evaluation for 2D images and videos, blind/no-reference metrics are still scarce for 3D point clouds with large-scale irregularly distributed 3D points. Therefore, in this paper, we propose an objective point cloud quality index with Structure Guided Resampling (SGR) to automatically evaluate the perceptually visual quality of 3D dense point clouds. The proposed SGR is a general-purpose blind quality assessment method without the assistance of any reference information. Specifically, considering that the human visual system (HVS) is highly sensitive to structure information, we first exploit the unique normal vectors of point clouds to execute regional pre-processing which consists of keypoint resampling and local region construction. Then, we extract three groups of quality-related features, including: 1) geometry density features; 2) color naturalness features; 3) angular consistency features. Both the cognitive peculiarities of the human brain and naturalness regularity are involved in the designed quality-aware features that can capture the most vital aspects of distorted 3D point clouds. Extensive experiments on several publicly available subjective point cloud quality databases validate that our proposed SGR can compete with state-of-the-art full-reference, reduced-reference, and no-reference quality assessment algorithms.

研究の動機と目的

• 3次元密集点群の汎用的で説明可能な非参照（NR）品質評価手法の不足に対処すること。
• 人間視覚系（HVS）の3次元点群における構造的情報への感受性を模倣する手法を開発すること。
• 参照データが不要な状態で、幾何密度、色の自然さ、角度の一貫性といった知覚的に関連する特徴を抽出すること。
• 法線ベクトルを用いた構造ガイドドリサンプリングの有効性を実験的に検証し、品質予測の向上を図ること。
• 公開の主観的データベースにおいて、従来の深層学習および統計ベースのNRモデルと比較して優れた性能を示すこと。

提案手法

• 法線ベクトルを用いた領域前処理によりキーポイントを特定し、局所的領域を構築することで、構造的表現を強化する。
• HVSおよび自然性の規則性に基づき、3種類の品質に敏感な特徴を抽出する：(1) 几何密度、(2) 色の自然さ、(3) 角度の一貫性。
• キーポイントの再サンプリングは法線ベクトルによってガイドされ、均一かつ構造に敏感なサンプリングを実現し、幾何学的または色ベースの代替手法を上回る。
• 抽出された特徴からの品質スコア予測に、サポートベクターレグレッション（SVR）とランダムフォレストレグレッション（RFR）を用いる。
• 各領域あたりの法線数（参照法線の数）は実験的に最適化され、12が最良の性能を示した。
• 本手法はエンドツーエンドで動作し、参照点群を一切不要としており、解釈可能で汎用的であるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 法線ベクトルを用いた構造ガイドドリサンプリングは、3次元点群の盲目的品質評価を向上させることができるか？
• RQ2 幾何密度、色の自然さ、角度の一貫性の特徴は、知覚的品質予測にどのように寄与するか？
• RQ3 提案手法は、多様な主観的データベースにおいて、既存の最先端NRモデルを上回る性能を示すか？
• RQ4 特徴抽出および性能の観点で、領域あたりの最適な法線ベクトル数は何か？
• RQ5 参照データにアクセスできない状況でも、本手法は人間の評価スコアと高い相関を達成できるか？

主な発見

• SJTUデータベースでは、SVRを用いた本手法SGRはSROCCが0.89、PLCCが0.93を達成し、最先端のPQA-Net（SROCC：0.82、PLCC：0.85）を上回った。
• IRPCデータベースでは、SGRはSROCCが0.68、PLCCが0.89を達成し、PQA-Net（SROCC：0.40、PLCC：0.58）を顕著に上回った。
• アブレーションスタディの結果、幾何密度と色の自然さの特徴を組み合わせることで性能が向上（SROCC：0.78）し、さらに角度の一貫性を追加することで最高の結果（SROCC：0.89）が得られた。
• 法線ベクトルを用いたキーポイントリサンプリングは、幾何学的または色ベースの手法を上回り、SROCCは0.89（対象：0.85および0.86）を記録した。
• 領域あたりの最適な法線ベクトル数は12であった。性能は11、13、15など、それ以外の数では低下し、SROCCは12で0.89を記録した。
• 本手法はM-PCCD、SJTU、IRPCを含む複数のデータベースにわたり強力な一般化性能を示し、そのロバスト性と有効性を確認した。