[論文レビュー] Progressive Knowledge Transfer Based on Human Visual Perception Mechanism for Perceptual Quality Assessment of Point Clouds

Qi Liu, Yiyun Liu+3 more|arXiv (Cornell University)|Nov 30, 2022

Image and Video Quality Assessment被引用数 4

ひとこと要約

本稿では、人間視覚系（HVS）にインspiredされた段階的知識移譲フレームワークを活用して、元の点群データが不要な点群の知覚的品質評価モデルであるPKT-PCQAを提案する。空間的およびチャネル注意力メカニズムをグラフスペクトル特徴と階層的特徴統合と統合することで、3つのベンチマークデータセットにおいて最先端の性能を達成し、既存の非参照および低リソース参照手法を上回り、主観的スコアとの相関において完全参照ベースラインと同等の結果を示した。

ABSTRACT

With the wide applications of colored point cloud in many fields, point cloud perceptual quality assessment plays a vital role in the visual communication systems owing to the existence of quality degradations introduced in various stages. However, the existing point cloud quality assessments ignore the mechanism of human visual system (HVS) which has an important impact on the accuracy of the perceptual quality assessment. In this paper, a progressive knowledge transfer based on human visual perception mechanism for perceptual quality assessment of point clouds (PKT-PCQA) is proposed. The PKT-PCQA merges local features from neighboring regions and global features extracted from graph spectrum. Taking into account the HVS properties, the spatial and channel attention mechanism is also considered in PKT-PCQA. Besides, inspired by the hierarchical perception system of human brains, PKT-PCQA adopts a progressive knowledge transfer to convert the coarse-grained quality classification knowledge to the fine-grained quality prediction task. Experiments on three large and independent point cloud assessment datasets show that the proposed no reference PKT-PCQA network achieves better of equivalent performance comparing with the state-of-the-art full reference quality assessment methods, outperforming the existed no reference quality assessment network.

研究の動機と目的

• 既存の点群品質評価手法が人間視覚系（HVS）の特性をモデル化できていないというギャップに対処し、誤った知覚的予測を避けること。
• 元の（参照）点群データにアクセスを必要としない非参照品質評価フレームワークを構築し、より広範な実世界への展開を可能にすること。
• 選択的注意や階層的処理といったHVSにインspiredされたメカニズムを組み込むことで、客観的モデル予測と人間の主観的評価スコアの整合性を高めること。
• 粗い品質分類知識から細かい品質予測へと段階的に知識を移譲する戦略を設計し、モデルの汎化能力と正確性を向上させること。

提案手法

• 点群のグローバルな幾何的構造と重要なクラスタ情報を効率的に捉えるために、グラフスペクトルに基づく特徴抽出機構を採用し、計算複雑度を低減する。
• 人間視覚系のマルチスケール受容野を模倣した階層的アーキテクチャにより、局所的およびグローバルな特徴を統合し、表現学習を強化する。
• 空間的およびチャネル注意力の二重メカニズムを統合し、重要な特徴を動的に重み付けすることで、人間の選択的視覚的注意を模倣し、品質予測を向上させる。
• 粗い品質分類タスクから細かい品質回帰タスクへと知識を段階的に移譲する戦略を実装し、モデルの汎化能力を向上させる。
• 主観的MOS（平均意見スコア）の範囲に一致させるために、スコアスケーリングのための論理的回帰を用いてエンドツーエンドでネットワークを訓練する。
• 標準的な指標（PLCCおよびSROCC）を用いて、WPC、SJTU-PCQA、M-PCCDの3つの独立したデータセットでフレームワークを評価する。

実験結果

リサーチクエスチョン

• RQ1 人間の視覚認識をモデル化することで、非参照点群品質評価モデルが完全参照手法と同等の性能を達成できるか？
• RQ2 空間的およびチャネル注意力メカニズムを組み込むことで、客観的品質スコアと人間の主観的評価の整合性がどの程度向上するか？
• RQ3 粗い分類から細かい予測へと段階的知識移譲を施すことで、知覚的品質評価におけるモデルの正確性がどの程度向上するか？
• RQ4 グラフスペクトルに基づく特徴抽出法は、不規則な点群データにおいて局所的およびグローバルな幾何的特徴を効果的に捉えられるか？
• RQ5 提案手法は、歪みレベルや点群の特性が異なる多様なデータセットにおいて、どの程度の性能を示すか？

主な発見

• WPCデータセットでは、PKT-PCQAがPLCC 0.56およびSROCC 0.56を達成し、非参照および低リソース参照手法の中で最高のスコアを記録。最良の完全参照手法IW-SSIMpとわずかに下回る程度であった。
• SJTU-PCQAデータセットでは、PKT-PCQAがPLCC 0.91およびSROCC 0.91を達成し、他の非参照モデルを著しく上回り、低リソース参照のPCM_RR指標をも上回った。
• M-PCCDデータセットでは、PKT-PCQAがSROCC 0.91およびPLCC 0.93を達成し、多様な点群タイプおよび歪みに対して優れた汎化性能を示した。
• モデルの性能は、常に最先端の非参照手法PQA-NET（WPCデータセットでPLCC 0.71、SROCC 0.77）を上回った。
• 参照データを一切必要としないにもかかわらず、最良の完全参照手法と比較して0.02〜0.05の範囲内でほぼ最先端の性能を達成した。これは、本手法の頑健性と実用性を示している。
• HVSにインspiredされた注意力メカニズムと段階的知識移譲の統合により、全データセットで主観的MOSとの相関が高まり、予測の正確性が顕著に向上したことが実証された。