[論文レビュー] No-Reference Point Cloud Quality Assessment via Domain Adaptation

Qi Yang, Yipeng Liu+3 more|arXiv (Cornell University)|Dec 6, 2021

Infrared Thermography in Medicine被引用数 5

ひとこと要約

本稿では、自然画像（ソースドメイン）から3次元点群（ターゲットドメイン）への品質認識知識の転送を可能にする、非参照型点群品質評価手法IT-PCQAを提案する。階層的特徴エンコーダーと、新規の条件付きクロスエントロピー損失を備えた条件付き判別ネットワークを用いることで、大規模なラベル付き点群データベースがなくても、フルレファレンスメトリクスと同等の最先端の性能を達成する。

ABSTRACT

We present a novel no-reference quality assessment metric, the image transferred point cloud quality assessment (IT-PCQA), for 3D point clouds. For quality assessment, deep neural network (DNN) has shown compelling performance on no-reference metric design. However, the most challenging issue for no-reference PCQA is that we lack large-scale subjective databases to drive robust networks. Our motivation is that the human visual system (HVS) is the decision-maker regardless of the type of media for quality assessment. Leveraging the rich subjective scores of the natural images, we can quest the evaluation criteria of human perception via DNN and transfer the capability of prediction to 3D point clouds. In particular, we treat natural images as the source domain and point clouds as the target domain, and infer point cloud quality via unsupervised adversarial domain adaptation. To extract effective latent features and minimize the domain discrepancy, we propose a hierarchical feature encoder and a conditional-discriminative network. Considering that the ultimate purpose is regressing objective score, we introduce a novel conditional cross entropy loss in the conditional-discriminative network to penalize the negative samples which hinder the convergence of the quality regression network. Experimental results show that the proposed method can achieve higher performance than traditional no-reference metrics, even comparable results with full-reference metrics. The proposed method also suggests the feasibility of assessing the quality of specific media content without the expensive and cumbersome subjective evaluations. Code is available at https://github.com/Qi-Yangsjtu/IT-PCQA.

研究の動機と目的

• 強力な非参照型点群品質評価（PCQA）モデルを訓練するための、大規模な主観的データベースの不足に対処する。
• 成熟した自然画像品質評価（IQA）分野の知見を活用し、人間視覚系（HVS）に基づく知覚知識を3次元点群に転送する。
• 2次元画像と3次元点群の間のドメインシフトを最小限に抑えつつ、品質回帰性能を維持するドメイン適応フレームワークを開発する。
• 参照データが入手不可能な実世界の応用において、点群の正確な品質予測を可能にする。
• 画像からの転移学習が、点群の3次元幾何的および属性的歪みに効果的に一般化できることを示す。

提案手法

• 自然画像と点群の共有特徴学習を可能にするために、6つの垂直な投影を用いて3次元点群を多視点2次元画像に変換する。
• 画像および投影された点群からのマルチスケール特徴を抽出するため、階層的スケーリング・エクスカーション畳み込みニューラルネットワーク（H-SCNN）を設計する。
• ソース（画像）ドメインとターゲット（点群）ドメイン間の特徴分布を統合するために、条件付き判別ネットワークを用いた非教師あり敵対的ドメイン適応フレームワークを実装する。
• 品質回帰に無関係な特徴をペナルティ化する新しい条件付きクロスエントロピー損失（CCEL）を導入し、収束性と予測精度を向上させる。
• 品質スコア予測のための回帰損失（L_R）とドメイン差違を低減するためのドメイン適応損失（MMDおよび敵対的損失）を組み合わせた損失関数を用いてモデルを訓練する。
• 訓練および検証の過程で予測スコアと主観的品質スコアの相関を評価するため、SROCCを指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 ラベル付き点群データが存在しない状況でも、大規模な自然画像品質評価データベースからの事前知識を、3次元点群品質評価に効果的に転送できるか？
• RQ2 2次元画像と3次元点群の間のドメインシフトを低減するため、非教師あり敵対的ドメイン適応は品質予測においてどの程度有効か？
• RQ3 提案された条件付きクロスエントロピー損失（CCEL）は、標準の敵対的損失やMMDベースの損失と比較して、特徴品質および回帰性能を向上させるか？
• RQ4 1枚のビューによる入力と比較して、多視点画像投影（2D-2）は、点群品質評価において歪みパターンをより効果的に捉えられるか？
• RQ5 参照点群が入手不可な状況下でも、非参照型PCQAモデルがフルレファレンスメトリクスと同等の性能を達成できるか、その程度はどの程度か？

主な発見

• TID2013で学習したIT-PCQAモデルは、WPCデータセットでPLCC 0.5491、SROCC 0.5371を達成し、ベースライン手法を顕著に上回った。
• 多視点投影（2D-2）は1視点入力（2D-1）よりも性能が優れており、WPCデータセットにおけるPLCCが0.3841から0.5491に向上した。
• 条件付きクロスエントロピー損失（CCEL）が最良の全体的性能を達成し、PLCC 0.5491、SROCC 0.5371を記録し、L_R、L_T1、L_T2などの損失バージョンを上回った。
• CCELで学習したモデルはLIVEからWPCへのベンチマークでPLCC 0.5791、SROCC 0.6342を達成し、異なるデータセット間での優れた一般化性能を示した。
• 階層的特徴エンコーダー（H-SCNN）は他の特徴生成器を上回り、ドメイン適応におけるマルチスケール表現の重要性を示した。
• アブレーションスタディの結果、MMDや標準GAN損失によるドメイン差違の単純な最小化は性能向上に寄与せず、場合によっては性能を低下させることが判明し、タスク固有の損失設計の必要性が強調された。