[論文レビュー] MM-PCQA: Multi-Modal Learning for No-reference Point Cloud Quality Assessment

Zicheng Zhang, Wei Sun+5 more|arXiv (Cornell University)|Sep 1, 2022

3D Shape Modeling and Analysis被引用数 5

ひとこと要約

本稿では、3次元点群サブモデルと2次元画像投影を組み合わせることで幾何的歪みとテクスチャ歪みを共同で捉える、マルチモーダル学習を活用した新規なノンレファレンス点群品質評価手法MM-PCQAを提案する。点群をサブモデルに分割して局所的パターンを保持し、点ベースと画像ベースのエンコーダーからの特徴を対称的クロスモーダルアテンションで統合することで、SJTU-PCQA、WPC、WPC2.0データセットで最先端の性能を達成し、従来手法を顕著に上回る。

ABSTRACT

The visual quality of point clouds has been greatly emphasized since the ever-increasing 3D vision applications are expected to provide cost-effective and high-quality experiences for users. Looking back on the development of point cloud quality assessment (PCQA) methods, the visual quality is usually evaluated by utilizing single-modal information, i.e., either extracted from the 2D projections or 3D point cloud. The 2D projections contain rich texture and semantic information but are highly dependent on viewpoints, while the 3D point clouds are more sensitive to geometry distortions and invariant to viewpoints. Therefore, to leverage the advantages of both point cloud and projected image modalities, we propose a novel no-reference point cloud quality assessment (NR-PCQA) metric in a multi-modal fashion. In specific, we split the point clouds into sub-models to represent local geometry distortions such as point shift and down-sampling. Then we render the point clouds into 2D image projections for texture feature extraction. To achieve the goals, the sub-models and projected images are encoded with point-based and image-based neural networks. Finally, symmetric cross-modal attention is employed to fuse multi-modal quality-aware information. Experimental results show that our approach outperforms all compared state-of-the-art methods and is far ahead of previous NR-PCQA methods, which highlights the effectiveness of the proposed method. The code is available at https://github.com/zzc-1998/MM-PCQA.

研究の動機と目的

• 単一モーダルなPCQA手法が3次元点群または2次元投影に依存するという限界を解消すること。
• 3次元幾何と2次元テクスチャモーダルの補完的情報を統合することで、ノンレファレンス点群品質評価を向上させること。
• 点サンプリングの代わりにサブモデルパッチングを採用することで、視覚的品質に重要な局所的幾何パターンを保持すること。
• 両モーダル間の品質に敏感な特徴を効果的に統合する対称的クロスモーダルアテンション機構を開発すること。
• レファレンス点群を必要とせずにベンチマークPCQAデータセットで最先端の性能を達成すること。

提案手法

• 点群を複数のサブモデルに分割することで、点のずれやダウンサンプリングなどの局所的幾何パターンを保持する。ランダムな点サンプリングではなく、このアプローチを採用する。
• 同じ点群を複数の固定視点からレンダリングして2次元投影を生成し、テクスチャおよび意味的情報を捉える。
• 点ベースエンコーダー（例：PointNet++）が3次元サブモデルを処理し、画像ベースエンコーダー（例：ResNet50）が2次元投影を処理することで、品質に敏感な特徴を抽出する。
• 3次元と2次元モーダルの特徴間の相互依存関係をモデル化するために、対称的クロスモーダルアテンションを適用し、クロスモーダル表現学習を強化する。
• 統合された特徴を全結合層に通して最終的な品質スコアを予測する。
• SRCCやPLCCなどの損失関数を用いて、ノンレファレンスデータセット上でエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 3次元点群幾何と2次元画像投影を組み合わせることで、単一モーダル手法を上回るノンレファレンス点群品質評価が可能になるか？
• RQ2 点サンプリングの代わりにサブモデルパッチングを採用することで、局所的幾何パターンの保持が品質評価において優れているか？
• RQ3 対称的クロスモーダルアテンションは、3次元と2次元モーダルからの補完的品質特徴を効果的に統合できるか？
• RQ4 性能と冗長性のバランスを考慮した場合、最適なサブモデル数と2次元投影数は何か？
• RQ5 提案手法は、ドメイン特化のファインチューニングなしで、さまざまなPCQAデータベースに一般化できるか？

主な発見

• MM-PCQAはWPCデータセットで最高のSRCC 0.9103およびPLCC 0.9226を達成し、比較されたすべての最先端手法を顕著に上回った。
• 6つのサブモデルと4つの投影を用いた設定が最良の性能を示し、特徴の豊かさと冗長性の最適なバランスを示した。
• サブモデルのパッチアップ戦略は、遠方点サンプリングよりも性能を向上させた。特に局所的幾何パターンの保持において顕著な改善が見られた。
• エンコーダーにPointNet++とResNet50を組み合わせた場合が最良の性能を示し、WPCデータセットでSRCC 0.9103およびPLCC 0.9226を達成した。
• クロスデータベース評価では、WPCで学習したMM-PCQAがSJTU-PCQAおよびWPC2.0に良好に一般化され、WPC2.0で直接学習したモデルをも上回った。
• アブレーションスタディにより、対称的クロスモーダルアテンションとマルチモーダル統合が品質評価の精度を顕著に向上させることを確認した。