[論文レビュー] Textured Mesh Quality Assessment: Large-Scale Dataset and Deep Learning-based Quality Metric

Yana Nehmé, Delanoy, Johanna+4 more|arXiv (Cornell University)|Feb 4, 2022

Image and Video Quality Assessment被引用数 6

ひとこと要約

本論文は、55のソースモデルから得た343,000個の圧縮されたテクスチャ付き3Dメッシュから構成される大規模なデータセットと、シアンプル・CNNを用いた深層学習ベースの品質指標であるGraphics-LPIPSを紹介する。Graphics-LPIPSは、参照画像と歪みのある画像のパッチを比較することで、視覚的品質の主観的評価を予測する。この指標は、テクスチャ付きメッシュおよび頂点カラー付きメッシュの両方のデータセットで最先端の性能を達成し、主観的評価と強い相関を示し、複数の歪みの組み合わせに対しても頑健であることが示された。

ABSTRACT

Over the past decade, 3D graphics have become highly detailed to mimic the real world, exploding their size and complexity. Certain applications and device constraints necessitate their simplification and/or lossy compression, which can degrade their visual quality. Thus, to ensure the best Quality of Experience (QoE), it is important to evaluate the visual quality to accurately drive the compression and find the right compromise between visual quality and data size. In this work, we focus on subjective and objective quality assessment of textured 3D meshes. We first establish a large-scale dataset, which includes 55 source models quantitatively characterized in terms of geometric, color, and semantic complexity, and corrupted by combinations of 5 types of compression-based distortions applied on the geometry, texture mapping and texture image of the meshes. This dataset contains over 343k distorted stimuli. We propose an approach to select a challenging subset of 3000 stimuli for which we collected 148929 quality judgments from over 4500 participants in a large-scale crowdsourced subjective experiment. Leveraging our subject-rated dataset, a learning-based quality metric for 3D graphics was proposed. Our metric demonstrates state-of-the-art results on our dataset of textured meshes and on a dataset of distorted meshes with vertex colors. Finally, we present an application of our metric and dataset to explore the influence of distortion interactions and content characteristics on the perceived quality of compressed textured meshes.

研究の動機と目的

• 3Dテクスチャ付きメッシュ品質評価のための、大規模で多様性に富み、主観的代表性を持つデータセットの不足に応えること。
• 多様な歪みおよびメッシュ特性に一般化可能な深層学習ベースの客観的品質指標を開発すること。
• 幾何的量子化、テクスチャ圧縮、UVマップの劣化を含む、個別および複合的な歪みが3Dメッシュ品質に与える主観的影響を調査すること。
• 圧縮に配慮したレンダリングを可能にするために、品質スコアとファイルサイズを結びつけることで、レート歪み最適化を実現すること。
• 今後の3Dグラフィックス品質評価分野の研究を支援するため、公開可能なベンチマークデータセットと指標を提供すること。

提案手法

• 55のソースモデルに、5つの現実世界の圧縮に基づく歪み（幾何的量子化、テクスチャ圧縮、UVマップ量子化、LOD低減、テクスチャサブサンプリング）を適用することで、343,000個の歪みのあるテクスチャ付きメッシュの刺激を生成した。
• 幾何的複雑さ（頂点数と曲率）、色の複雑さ（テクスチャの分散とエントロピー）、意味的複雑さ（オブジェクトカテゴリと視覚的注目分布）の3つの複雑さ指標を用いて、ソースモデルを定量的に特徴付けた。
• 品質の全範囲および歪みの組み合わせをカバーするように、多様性に配慮したサンプリング戦略を用いて、3,000個の刺激の挑戦的サブセットを選定した。
• 4,500人以上の参加者を対象とした大規模なクラウドソーシング主観実験を実施し、148,929件の品質評価を収集することで、真値の平均意見スコア（MOS）を生成した。
• 参照および歪みのある3Dメッシュからレンダリングされた画像パッチを処理するシアンプル・ネットワークを用い、微調整されたAlexNet特徴量と学習された線形重みを備えた、CNNベースの指標であるGraphics-LPIPSを提案した。
• 主観データセット上でエンドツーエンドに訓練を行い、平均プーリングを用いて局所的なパッチ品質スコアを統合して、グローバルな品質予測を算出した。

実験結果

リサーチクエスチョン

• RQ1 幾何的、テクスチャ的、UVマップに関する圧縮に基づく歪みの異なる組み合わせが、テクスチャ付き3Dメッシュの主観的視覚的品質にどのように影響を与えるか？
• RQ2 幾何的および色の複雑さが、歪みアーティファクトの可視性をどのようにマスキングまたは強調するか？
• RQ3 どの歪みタイプが主観的品質に最も顕著な影響を与え、それらはどのように主観的に相互作用するか？
• RQ4 レンダリングされた画像パッチを用いて訓練された深層学習指標は、未観測の3Dメッシュ歪みに一般化可能であり、従来の画像ベース指標を上回る性能を示せるか？
• RQ5 3Dグラフィックスにおけるレート歪みトレードオフにおいて、主観的品質を効果的にモデル化・最適化するにはどうすればよいか？

主な発見

• Graphics-LPIPSは、提示されたテクスチャ付きメッシュデータセットで最先端の性能を達成し、主観的MOSスコアとのスピアマン順位相関係数（ρ = 0.93）が最高を記録した。
• この指標は、頂点カラー付きメッシュのベンチマークデータセットでも最高の性能を示し、その頑健性と一般化能力を確認した。
• 幾何的量子化アーティファクトは、粗いメッシュでは顕著に見えにくく、メッシュの複雑さと歪みの可視性の間には強い主観的相互作用があることが示された。
• JPEGを用いたテクスチャ圧縮は、非常に低い品質レベル（例：QF=5）であっても、主観的品質にほとんど影響を与えず、高い主観的耐性があることが示された。
• 均一なテクスチャを持つモデルではUVマップの量子化にあまり敏感ではなかったが、テクスチャのシーム密度が主観的劣化に顕著な影響を与えた。
• 色の複雑さと幾何的複雑さの両方が、高複雑度領域における幾何的歪みの可視性を低下させるマスキング要因として機能した。