[論文レビュー] Evaluating Point Cloud from Moving Camera Videos: A No-Reference Metric

Zicheng Zhang, Wei Sun+5 more|arXiv (Cornell University)|Aug 30, 2022

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

本論文は、ポイントクラウドの動的カメラ映像を用いて視覚的品質を評価する、参照なしのポイントクラウド品質評価手法を提案する。空間的（静的）および時間的（動的）な品質に敏感な特徴をResNet50およびSlowFast R50モデルを用いて抽出することで、SJTU-PCQAで最高のSRCC 0.8611を達成し、フルリファレンス手法と同等の性能を示し、既存の参照なし手法を上回る。

ABSTRACT

Point cloud is one of the most widely used digital representation formats for three-dimensional (3D) contents, the visual quality of which may suffer from noise and geometric shift distortions during the production procedure as well as compression and downsampling distortions during the transmission process. To tackle the challenge of point cloud quality assessment (PCQA), many PCQA methods have been proposed to evaluate the visual quality levels of point clouds by assessing the rendered static 2D projections. Although such projection-based PCQA methods achieve competitive performance with the assistance of mature image quality assessment (IQA) methods, they neglect that the 3D model is also perceived in a dynamic viewing manner, where the viewpoint is continually changed according to the feedback of the rendering device. Therefore, in this paper, we evaluate the point clouds from moving camera videos and explore the way of dealing with PCQA tasks via using video quality assessment (VQA) methods. First, we generate the captured videos by rotating the camera around the point clouds through several circular pathways. Then we extract both spatial and temporal quality-aware features from the selected key frames and the video clips through using trainable 2D-CNN and pre-trained 3D-CNN models respectively. Finally, the visual quality of point clouds is represented by the video quality values. The experimental results reveal that the proposed method is effective for predicting the visual quality levels of the point clouds and even competitive with full-reference (FR) PCQA methods. The ablation studies further verify the rationality of the proposed framework and confirm the contributions made by the quality-aware features extracted via the dynamic viewing manner. The code is available at https://github.com/zzc-1998/VQA_PC.

研究の動機と目的

• 既存の投影ベースの参照なしPCQA手法が静的2Dビューに依存するという制限を解消すること。
• 動的視認行動（動くカメラを模倣）がポイントクラウド品質評価を向上させるかを調査すること。
• 空間的および時間的歪みをモデル化するため、ビデオ品質評価（VQA）を活用した参照なしPCQAフレームワークを開発すること。
• 複数のカメラパスを用いて多様な動的ビューを捉えることで、品質予測の向上が図られるかを検証すること。
• 実用的導入を考慮し、高い精度を維持しながら計算効率を確保すること。

提案手法

• 仮想カメラをポイントクラウドの周囲で4つの異なる円形パスに沿って回転させることで、動画シーケンスを生成する。
• 静的歪み（ノイズや幾何的ずれなど）を捉えるために、トレーニング可能な2次元CNN（ResNet50）を用いてキーフレームから空間的品質特徴を抽出する。
• 動き関連アーチファクト（急なビュー遷移など）をモデル化するため、事前学習済み3次元CNN（SlowFast R50）を用いて動画クリップから時間的品質特徴を抽出する。
• 最終的な品質スコアは、空間的および時間的特徴の統合から得られ、静的および動的視覚的品質の両方を評価可能となる。
• 完全なリファレンスポイントクラウドが不要なため、回帰ヘッドを用いてエンドツーエンドで訓練され、主観的品質スコアを予測する。
• 主にSRCCおよびPLCCを指標として用い、SJTU-PCQA、WPC、LSPCQA-Iの3つのベンチマークデータセットで評価される。

Figure 1: Illustration of human habits of observing point clouds via static and dynamic views. The static views focus on the single rendered images while the dynamic views focus on the frames (usually generated by rotation).

実験結果

リサーチクエスチョン

• RQ1 動的カメラ映像による動的視認行動のモデル化は、静的投影ベース手法と比較して、参照なしポイントクラウド品質評価を向上させるか？
• RQ2 動画シーケンスから抽出された空間的および時間的特徴は、全体の品質予測性能にどのように寄与するか？
• RQ3 異なるカメラパスが、多様な品質関連視覚的コンテンツを捉える上で果たす相対的寄与度は何か？
• RQ4 本手法は、既存の参照なしおよびフルリファレンスPCQA手法と比較して、性能および効率面で優れているか？
• RQ5 本手法がオリジナルのポイントクラウドにアクセスせずに、フルリファレンス手法と同等の性能を達成できるか？

主な発見

• 本手法はSJTU-PCQAデータセットでSRCC 0.8611、PLCC 0.8702を達成し、既存のすべての参照なしPCQA手法を上回る。
• フルリファレンスPCQA手法と同等の競争力を持つ性能を示しており、動的ビデオベースの評価が静的投影よりも知覚的品質をより効果的に捉えていることを示している。
• アブレーションスタディにより、空間的および時間的特徴の両方が不可欠であることが確認され、時間的ブランチが静的のみのベースラインに比べて顕著に性能向上をもたらしている。
• 4つのカメラパスすべて（P7）を用いたモデルが最高の性能を示し、いずれかのパスを除外すると明確な性能低下が生じるため、マルチパスウェイの動画収集の価値が裏付けられている。
• 動画生成時間を含んでも、本手法は競争力ある計算効率を維持しており、1ポイントクラウドあたりの平均推論時間は13.15秒と、多数のモデルベースPCQA手法を上回る。
• パスθ_Aが最も寄与度が高く、パスを除いたP6モデルで最も低い性能を示すことで、パスごとの歪みタイプに対する感受性の差が明らかになった。

Figure 3: The framework of the proposed method, which includes the video capture process, the feature extraction module, and the feature regression module.