[論文レビュー] GPA-Net:No-Reference Point Cloud Quality Assessment with Multi-task Graph Convolutional Network

Ziyu Shan, Qi Yang+5 more|arXiv (Cornell University)|Oct 29, 2022

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

本稿では、構造的およびテクスチャ的摂動を捉えるために新規のグラフ畳み込みカーネル（GPAConv）を備えたマルチタスク・グラフ畳み込みネットワークを用いた非参照点群品質評価手法GPA-Netを提案する。歪みタイプと歪み度の予測を補助タスクとして統合し、座標正規化モジュールを導入することで、平行移動、スケーリング、回転に対して不変性を実現し、2つの独立したデータセットにおいて最先端のNR-PCQA指標を上回る性能を達成した。

ABSTRACT

With the rapid development of 3D vision, point cloud has become an increasingly popular 3D visual media content. Due to the irregular structure, point cloud has posed novel challenges to the related research, such as compression, transmission, rendering and quality assessment. In these latest researches, point cloud quality assessment (PCQA) has attracted wide attention due to its significant role in guiding practical applications, especially in many cases where the reference point cloud is unavailable. However, current no-reference metrics which based on prevalent deep neural network have apparent disadvantages. For example, to adapt to the irregular structure of point cloud, they require preprocessing such as voxelization and projection that introduce extra distortions, and the applied grid-kernel networks, such as Convolutional Neural Networks, fail to extract effective distortion-related features. Besides, they rarely consider the various distortion patterns and the philosophy that PCQA should exhibit shifting, scaling, and rotational invariance. In this paper, we propose a novel no-reference PCQA metric named the Graph convolutional PCQA network (GPA-Net). To extract effective features for PCQA, we propose a new graph convolution kernel, i.e., GPAConv, which attentively captures the perturbation of structure and texture. Then, we propose the multi-task framework consisting of one main task (quality regression) and two auxiliary tasks (distortion type and degree predictions). Finally, we propose a coordinate normalization module to stabilize the results of GPAConv under shift, scale and rotation transformations. Experimental results on two independent databases show that GPA-Net achieves the best performance compared to the state-of-the-art no-reference PCQA metrics, even better than some full-reference metrics in some cases.

研究の動機と目的

• ボクセル化や投影などの前処理に依存する既存の非参照点群品質評価（NR-PCQA）手法の限界を解消すること。
• グリッドベースのCNNの制限を克服し、不規則な点群構造における歪み関連特徴を効果的に捉える特徴抽出機構を開発すること。
• 品質、歪みタイプ、歪み度の同時予測を実現するマルチタスク学習を導入し、特徴表現を強化すること。
• 局所的基準フレーム（LRF）を用いた座標正規化モジュールにより、平行移動、スケーリング、回転に対して不変性を確保し、人間の知覚に整合させること。
• 参照点群を必要とせず、NR-PCQAベンチマークで優れた性能を達成すること。

提案手法

• 隣接点間の方向および長さの類似度を計算することで、構造的およびテクスチャ的摂動を捉える新規のグラフ畳み込みカーネルGPAConvを提案する。
• 品質回帰（主タスク）と歪みタイプ・歪み度の予測（補助タスク2つ）を統合したマルチタスク学習フレームワークを設計し、特徴学習を向上させる。
• 局所的基準フレーム（LRF）を用いて局所座標系を再配置することで、回転、スケーリング、平行移動に対して不変性を実現する座標正規化モジュールを導入する。
• t-SNE可視化により、GPA-Netの特徴空間が、ベースラインと比較して、異なるコンテンツや歪みを持つ点群をより明確に分離していることを確認した。
• 各パッチを独立して処理し、学習可能なグラフ構造を用いることで、局所幾何を保持するパッチベースのグラフ構築戦略を採用する。
• 最終的な品質予測のため、グラフ特徴に対して最大プーリングを適用し、その後に全結合層を用いる。

実験結果

リサーチクエスチョン

• RQ1 新規のカーネル設計を有するグラフ畳み込みネットワークは、前処理を伴わずに不規則な点群から歪み関連特徴を効果的に抽出できるか？
• RQ2 歪みタイプと歪み度の補助タスクを含むマルチタスク学習は、非参照PCQAの性能を向上させるか？
• RQ3 LRFに基づく座標正規化モジュールは、点群品質評価における回転、スケーリング、平行移動に対して頑健性を実現できるか？
• RQ4 独立したベンチマークにおいて、GPA-Netは最先端のNR-PCQA手法と比較してSROCCおよびPLCCの観点で優れているか？
• RQ5 本モデルは、多様なコンテンツと歪みパターンを有する点群に対して、どの程度一般化性能を示すか？

主な発見

• SJTU-PCQAデータセットにおいて、GPA-Netは最高のSROCC 0.886およびPLCC 0.886を達成し、すべての最先端NR-PCQA指標を上回った。
• TCG-PCQAデータセットにおいても、SROCC 0.875およびPLCC 0.886を達成し、独立したベンチマークにおいて一貫した優位性を示した。
• 回転不変性を排除した場合、GPA-Netの性能は著しく低下し、特にy軸周りの180°回転条件下でSROCCが0.837に低下した。これにより、正規化モジュールの有効性が裏付けられた。
• 局所z軸とx軸をグローバルy軸とz軸に再配置した場合に最も高い性能を示し、SROCC 0.875およびPLCC 0.886を達成した。これは、特徴の安定性を高める最適な軸整合であることを示唆した。
• t-SNE可視化により、GPA-Netの特徴空間が、他のエンコーダーと比較して、「Redandblack」と「Soldier」などの異なるコンテンツを持つ点群をより明確に分離していることが確認された。
• 最初のGPA層の最適な設定は、25,000個のキーポイントと100個の近隣点であり、パッチ構築におけるカバレッジとオーバーラップの最良のトレードオフを実現した。