[論文レビュー] Point Cloud Quality Assessment: Dataset Construction and Learning-based No-Reference Approach

Yipeng Liu, Qi Yang+2 more|arXiv (Cornell University)|Dec 22, 2020

Optical measurement and interference techniques参考文献 39被引用数 7

ひとこと要約

本稿では、104の参照点群と24,000以上の歪みバージョンを備えた大規模な非参照（NR）点群品質評価（PCQA）データセットを提案する。各バージョンは33種類の歪みを7段階のレベルで付加している。また、点群の属性に特化したエンドツーエンドのスパース畳み込みニューラルネットワーク（CNN）を導入し、主観的品質予測を信頼性高く実現。本データセットは今後の研究のため公開されている。

ABSTRACT

Full-reference (FR) point cloud quality assessment (PCQA) has achieved impressive progress in recent years. However, in many cases, obtaining the reference point cloud is difficult, so the no-reference (NR) methods have become a research hotspot. Few researches about NR objective quality metrics are conducted due to the lack of a large-scale subjective point cloud dataset. Besides, the distinctive property of the point cloud format makes it infeasible to apply blind image quality assessment (IQA) methods directly to predict the quality scores of point clouds. In this paper, we establish a large-scale PCQA dataset, which includes 104 reference point clouds and more than 24,000 distorted point clouds. In the established dataset, each reference point cloud is augmented with 33 types of impairments (e.g., Gaussian noise, contrast distortion, geometry noise, local loss, and compression loss) at 7 different distortion levels. Besides, inspired by the hierarchical perception system and considering the intrinsic attributes of point clouds, an end-to-end sparse convolutional neural network (CNN) is designed to accurately estimate the subjective quality. We conduct several experiments to evaluate the performance of the proposed network. The results demonstrate that the proposed network has reliable performance. The dataset presented in this work will be publicly accessible at this http URL.

研究の動機と目的

• 非参照（NR）品質評価のための大規模な主観的点群データセットの不足に対処すること。
• 点群が持つ特徴的な構造的・幾何的性質を考慮した学習ベースのNR PCQA手法を開発すること。
• 参照点群を必要とせずに主観的品質を正確に推定できる深層学習モデルを設計すること。
• 多様な歪みタイプとレベルをサポートするベンチマークデータセットを確立し、強固なモデル学習と評価を可能にすること。
• 構築したデータセットを公開することで、今後のNR PCQA分野の研究を可能にすること。

提案手法

• 104の参照点群と24,000以上の歪みバージョンを備えた大規模なPCQAデータセットの構築。
• ガウスノイズ、コントラスト歪み、ジオメトリーノイズ、ローカル損失、圧縮損失などを含む33種類の異なる損傷タイプを、各参照点群に対して7段階の歪みレベルで適用。
• 階層的認識にインspiredされた、点群固有の特徴に最適化されたエンドツーエンドのスパース畳み込みニューラルネットワーク（CNN）の設計。
• 歪みを加えた点群から直接主観的品質スコアを予測できるように、構築したデータセット上でスパースCNNを学習。
• 不規則な点群データを効率的に処理し、幾何的構造を保持するためのスパース畳み込みの活用。
• 標準的な相関係数指標を用いて、主観的スコアとの比較を通じてモデルの性能を評価。

実験結果

リサーチクエスチョン

• RQ1 33種類の歪みタイプと7段階の歪みレベルをカバーする、多様で大規模な歪み点群データセットを効果的に構築できるか？
• RQ2 このデータセットで学習した深層学習モデルは、参照点群にアクセスできない状況でも主観的品質スコアをどれほど正確に予測できるか？
• RQ3 点群の幾何的性質に特化したスパースCNNアーキテクチャは、一般的な画像ベースの品質評価手法に比べて、点群データに対してどれほど優れた性能を発揮するか？
• RQ4 提案手法の性能は、さまざまな歪みタイプとレベルでどのように変動するか？
• RQ5 提案されたNR PCQAモデルは、未観測の点群歪みに一般化して適用可能か？

主な発見

• 提案されたデータセットには104の参照点群と24,000以上の歪みバージョンが含まれており、33種類の損傷タイプと7段階の歪みレベルをカバーしており、包括的な評価が可能である。
• エンドツーエンドのスパースCNNは、点群固有の特徴に適したアーキテクチャの有効性を示し、主観的品質スコアの予測において信頼性の高い性能を発揮した。
• 点群の不規則で幾何的性質に特化した設計のおかげで、汎用的な画像ベースの品質評価手法を上回る性能を示した。
• データセットは公開されており、今後の非参照点群品質評価分野における貴重なベンチマークを提供している。
• 制御された歪みを含む多様で大規模なデータセット上で学習された場合、学習ベースのNR PCQAが実現可能かつ効果的であることが確認された。
• さまざまな歪みタイプにわたり一貫した性能を示したため、多様な劣化パターンに対してもロバストであることが示された。