[論文レビュー] Point Cloud Quality Assessment: Large-scale Dataset Construction and Learning-based No-Reference Approach

Yipeng Liu, Qi Yang+2 more|arXiv (Cornell University)|Dec 22, 2020

Optical measurement and interference techniques被引用数 15

ひとこと要約

本稿は、104の参照点群と24,000個を超える歪みバージョンを備えた大規模なノンレファレンス（NR）点群品質評価（PCQA）データセットを紹介している。各歪みバージョンは34種類の歪みタイプを7段階のレベルで適用している。また、点群の幾何構造と階層的性質に特化したエンドツーエンドのスパース畳み込みニューラルネットワーク（CNN）を提案し、主観的な品質予測を信頼性高く実現している。本データセットは公開されており、NR-PCQA分野の研究を前進させるものである。

ABSTRACT

Full-reference (FR) point cloud quality assessment (PCQA) has achieved impressive progress in recent years. However, in many cases, obtaining the reference point cloud is difficult, so the no-reference (NR) methods have become a research hotspot. Since learning-based FR-PCQA methods should be driven by data, few researches about NR objective quality metrics are conducted due to lack of large-scale subjective point cloud dataset. The shortage of point cloud data restricts the development of NR-PCQA techniques. Besides, the distinctive property of point cloud format makes infeasible applying blind image quality assessment (IQA) methods directly to predict the quality scores of point clouds. In this paper, we establish a large-scale PCQA dataset, which includes 104 reference point clouds and more than 24,000 distorted point clouds. In the established dataset, each reference point cloud is augmented with 34 types of impairments (e.g., Gaussian noise, contrast distortion, geometry noise, local loss, and compression loss) at 7 different distortion levels. Besides, inspired by the hierarchical perception system and considering the intrinsic attribute of point clouds, an end-to-end sparse convolutional neural network (CNN) is designed to accurately estimate the subjective quality. We conduct experiments on the new dataset to evaluate the performance of the proposed network. The results demonstrate that the proposed network has reliable performance. The dataset presented in this work will be publicly accessible at this http URL

研究の動機と目的

• ノンレファレンス（NR）品質評価モデルの学習および評価に用いるための、大規模な主観的点群データセットの不足に対処する。
• 点群が有する特異な幾何的・構造的性質のため、従来のブラインド画像品質評価（IQA）手法を直接点群に適用する際の制限を克服する。
• 階層的認識と点群固有の属性を活用した学習ベースのNR-PCQA手法を開発し、正確な品質予測を実現する。
• 多様で体系的な歪みを施した点群と主観的スコアを備えたベンチマークデータセットを整備し、今後のNR-PCQA分野の研究を促進する。
• 参照データを必要とせず、生の点群から品質スコアをエンドツーエンドで学習可能とする手法を実現し、実世界のシナリオにおける実用性を向上させる。

提案手法

• 104の参照点群と24,000個を超える歪みバージョンを備えた大規模なPCQAデータセットを構築。各バージョンは34種類の異なる障害タイプを7段階のレベルで適用した。
• 点群の階層的認識構造とその内在する幾何的属性を活用した、新規のエンドツーエンドスパース畳み込みニューラルネットワーク（CNN）を設計。
• 不規則な点群データを効率的に処理するため、スパース畳み込みを活用。空間的構造を保持し、効果的な特徴学習を可能にした。
• 新規データセットの主観的品質スコアを用いてネットワークを学習させ、歪みを加えた点群から直接ノンレファレンス品質スコアを予測する。
• 局所的な幾何的歪みとグローバルな構造的劣化の両方を捉えるために、マルチレベルの特徴抽出を組み込んだ。
• 予測スコアと主観的品質スコアの差を最小化するため、回帰損失を用いてネットワークを最適化した。

実験結果

リサーチクエスチョン

• RQ1 多様で体系的に生成された大規模かつ多様な主観的点群データセットは、ノンレファレンスPCQAモデルの性能向上に寄与するか？
• RQ2 参照データが存在しない状況下で、スパースCNNアーキテクチャが歪みを加えた点群から主観的品質を効果的に予測できるか、その程度はいかほどか？
• RQ3 本手法は、幾何的ノイズ、圧縮損失、コントラスト劣化など、さまざまな種類の歪みに対してどれほど一般化性能を示すか？
• RQ4 標準的なディープラーニング手法と比較して、ネットワークの階層的設計が点群内の知覚的に重要な特徴をより効果的に捉えられるか？
• RQ5 参照点群が存在しないにもかかわらず、本手法が人間の評価スコアと高い相関を示すことができるか？

主な発見

• 提案されたスパースCNNは、新規データセットにおいて主観的品質スコアを予測する上で優れた性能を示し、多様な歪みタイプにわたる強い一般化能力を確認した。
• 34種類の障害タイプと7段階の歪みレベルを備えた大規模なデータセットにより、NR-PCQAモデルの強固な学習と評価が可能になった。
• ベースライン手法と比較して、ネットワークの性能が顕著に優れており、点群品質評価におけるスパースCNNアーキテクチャの有効性が裏付けられた。
• モデルは主観的評価スコアと高い相関を示し、点群劣化の人的知覚を模倣する能力が検証された。
• データセットの多様性と規模のおかげで、今後のNR-PCQA研究におけるベンチマークとして適している。
• データセットの公開により、ノンレファレンス点群品質評価分野におけるイノベーションが加速すると期待される。