[論文レビュー] Point Cloud Quality Assessment: Dataset Construction and Learning-based No-Reference Metric

Yipeng Liu, Qi Yang+2 more|arXiv (Cornell University)|Dec 22, 2020

Optical measurement and interference techniques被引用数 10

ひとこと要約

本論文では、スパース畳み込みニューラルネットワークに基づく、参照なし点群品質評価メトリックであるResSCNNを提案する。本研究は、22,000個を超える歪み付き点群を含む新規に構築された大規模データセット（LS-PCQA）を用いて訓練された。この手法は、参照なしメトリックの中で最先端の性能を達成し、いくつかのフルリファレンスメトリックを上回る。これは、多様な歪みに対して優れた汎化性能とロバストネスを示している。

ABSTRACT

Full-reference (FR) point cloud quality assessment (PCQA) has achieved impressive progress in recent years. However, in many cases, obtaining the reference point clouds is difficult, so no-reference (NR) metrics have become a research hotspot. Few researches about NR-PCQA are carried out due to the lack of a large-scale PCQA dataset. In this paper, we first build a large-scale PCQA dataset named LS-PCQA, which includes 104 reference point clouds and more than 22,000 distorted samples. In the dataset, each reference point cloud is augmented with 31 types of impairments (e.g., Gaussian noise, contrast distortion, local missing, and compression loss) at 7 distortion levels. Besides, each distorted point cloud is assigned with a pseudo quality score as its substitute of Mean Opinion Score (MOS). Inspired by the hierarchical perception system and considering the intrinsic attributes of point clouds, we propose a NR metric ResSCNN based on sparse convolutional neural network (CNN) to accurately estimate the subjective quality of point clouds. We conduct several experiments to evaluate the performance of the proposed NR metric. The results demonstrate that ResSCNN exhibits the state-of-the-art (SOTA) performance among all the existing NR-PCQA metrics and even outperforms some FR metrics. The dataset presented in this work will be made publicly accessible at http://smt.sjtu.edu.cn. The source code for the proposed ResSCNN can be found at https://github.com/lyp22/ResSCNN.

研究の動機と目的

• 参照なし点群品質評価（NR-PCQA）のための、大規模かつ公開可能なデータセットの不足に対処すること。
• 参照点群を必要としない、強力で汎化性の高い学習ベースのNR-PCQAメトリックを開発すること。
• 不規則で散らばった点群データの処理において、密度のある畳み込みの限界を克服すること。
• 階層的認知フレームワークを用いて、幾何的および色関連の歪みを同時にモデル化することで、品質評価の精度を向上させること。
• 参照データが入手不可能な実世界の応用に適した、高性能でスケーラブルなNR-PCQAを実現すること。

提案手法

• 104個のリファレンス点群と、31種類の歪みを7段階の強さで加えた22,000個を超える歪み付きサンプルを含むLS-PCQAデータセットを構築した。
• 完全な主観的テストを実施せずに教師あり学習を可能にするために、歪み付きサンプルに擬似平均意見スコア（MOS）を割り当てた。
• 不規則で散らばった点群データを低メモリかつ高速な推論で効率的に処理できるスパース畳み込みニューラルネットワーク（ResSCNN）を設計した。
• 人間の視覚認識を模倣した階層的特徴学習を統合し、局所的およびグローバルな構造的および色の特徴を捉えた。
• トレーニングの安定性と特徴表現を向上させるために、スパースCNNアーキテクチャに残差接続を採用した。
• 歪み付き点群から直接主観的品質スコアを予測できるように、LS-PCQAデータセットを用いてモデルをエンドツーエンドで訓練した。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ公開可能なPCQAデータセットは、学習ベースのNR-PCQAメトリックの汎化性能を著しく向上させ得るか？
• RQ2 スパースCNNベースのアーキテクチャは、点群データの処理において、従来の密度のある畳み込みベースのモデルを上回る性能を示せるか？
• RQ3 多様な歪みで訓練された参照なしメトリックは、フルリファレンスメトリックと同等の性能を達成できるか？
• RQ4 参照点群が入手不可な状況下で、本手法は幾何的および色ベースの歪みのさまざまなタイプに対してどのように性能を発揮するか？
• RQ5 階層的特徴学習と色分布モデリングは、NR-PCQA性能をどの程度向上させるか？

主な発見

• ResSCNNは、既存のすべての参照なしPCQAメトリックの中で最先端の性能を達成し、従来の学習ベースおよび非学習ベースの手法を上回った。
• 本手法は、局所的欠損（Local Missing）などの幾何的歪みにおいて顕著に優れた性能を示し、スピアマン順位相関係数（SRCC）が1.00に達した。
• 全LS-PCQAデータセット全体において、SRCCが0.83、ピアソン線形相関係数（PLCC）が0.81を達成し、多様な歪みに対して優れた汎化性能を示した。
• 特にVPCCおよびGPCC圧縮のような複雑な歪みにおいて、フルリファレンスメトリックと競合する性能を示し、SRCCが0.80を超えた。
• 参照なし（NR）とフルリファレンス（FR）メトリックの性能差は依然として存在し、特にコントラスト歪みやポissonノイズなどの色ベースの歪みに対して顕著で、NR-PCQAにおける色に配慮したモデリングの向上が今後の課題である。
• LS-PCQAデータセットは、堅牢で汎化性の高いNR-PCQAモデルの学習を可能にし、より小さなデータセットで訓練された従来手法と比較して、ResSCNNの優れた性能が裏付けられた。