[論文レビュー] Subjective and Objective Quality Assessment for in-the-Wild Computer Graphics Images

Zicheng Zhang, Wei Sun+6 more|arXiv (Cornell University)|Mar 14, 2023

Image and Video Quality Assessment被引用数 6

ひとこと要約

本稿では、6,000枚のコンピューターグラフィックス画像（CGI）とその知覚的品質スコアを検証した大規模な実世界データベースである CGIQA-6k を紹介し、歪みとアート的品質を同時にモデル化する深層学習ベースのノーリファレンス（NR）画像品質評価モデルを提案する。この手法は、CGIQA-6k および関連データベースにおいて、すべての最先端NR IQAモデルを上回り、多様なCGI歪みにおいて優れた精度と一般化性能を示している。

ABSTRACT

Computer graphics images (CGIs) are artificially generated by means of computer programs and are widely perceived under various scenarios, such as games, streaming media, etc. In practice, the quality of CGIs consistently suffers from poor rendering during production, inevitable compression artifacts during the transmission of multimedia applications, and low aesthetic quality resulting from poor composition and design. However, few works have been dedicated to dealing with the challenge of computer graphics image quality assessment (CGIQA). Most image quality assessment (IQA) metrics are developed for natural scene images (NSIs) and validated on databases consisting of NSIs with synthetic distortions, which are not suitable for in-the-wild CGIs. To bridge the gap between evaluating the quality of NSIs and CGIs, we construct a large-scale in-the-wild CGIQA database consisting of 6,000 CGIs (CGIQA-6k) and carry out the subjective experiment in a well-controlled laboratory environment to obtain the accurate perceptual ratings of the CGIs. Then, we propose an effective deep learning-based no-reference (NR) IQA model by utilizing both distortion and aesthetic quality representation. Experimental results show that the proposed method outperforms all other state-of-the-art NR IQA methods on the constructed CGIQA-6k database and other CGIQA-related databases. The database is released at https://github.com/zzc-1998/CGIQA6K.

研究の動機と目的

• 自然光景画像（NSIs）向けに設計された既存のメトリクスでは、実世界のコンピューターグラフィックス画像（CGIs）の品質評価が不十分であるというギャップを解消すること。
• ゲームや映画のCGIを含む多様な歪みとコンテンツタイプをカバーする、6,000枚のCGIからなる大規模で知覚的に検証されたデータベースを構築すること。
• CGIにおける構造的歪みとアート的品質の両方を効果的に捉えることができる、深層学習ベースのノーリファレンス（NR）IQAモデルを開発すること。
• CCT-CGI、NBU-CIQAD、LIVE-YT-Gaming データセットにおけるクロスデータベース評価を通じて、モデルの頑健性と一般化性能を検証すること。

提案手法

• 著者らは、既存のソースから収集した3,000枚のゲームCGIと3,000枚の映画CGIを含む、実世界のCGI 6,000枚からなるデータベースである CGIQA-6k を構築し、制御されたラボ実験により主観的品質スコアを付与した。
• 歪みとアート的品質の表現を同時にエンコードする二重ブランチネットワークアーキテクチャを用いた、深層学習ベースのNR IQAモデルを提案した。
• 入力CGIのマルチレベル表現を事前学習済みバックボーンネットワークから抽出し、その後、歪みとアート的品質のモデリングにそれぞれ別々のブランチを設けた。
• 2つのブランチは、特徴の連結と全結合層を介して統合され、一括の品質スコアを予測する。学習は平均二乗誤差損失関数を用いてエンドツーエンドで実施した。
• モデルはCGIQA-6kに限定して学習され、一般化性能を評価するために複数の外部CGIQAベンチマークで評価された。
• すべてのモデルの予測スコアと主観的スコアの残差分布を比較するため、Sheikhら（2006a）の手法を用いて統計的有意性の検定を実施した。

(a) Sample NSI

実験結果

リサーチクエスチョン

• RQ1 自然光景画像（NSIs）向けに設計された既存のフルリファレンスおよびノーリファレンスIQAメトリクスは、実世界のコンピューターグラフィックス画像（CGIs）へ効果的に適用可能か？
• RQ2 NSIsとCGIの間の主な統計的・知覚的差異は何か？ これにより、NSIベースのIQAモデルがCGI品質評価に不適切であるとされるのか？
• RQ3 深層学習ベースのノーリファレンス（NR）IQAモデルを効果的に設計するには、CGIにおける歪みとアート的品質を同時にモデル化するにはどうすればよいか？
• RQ4 提案されたモデルは、異なるコンテンツ分布や歪みタイプを持つ未観測のCGIQAデータベースに対しても、良好に一般化できるか？
• RQ5 CGIQA-6kおよび関連データセットにおける全体的な性能に、歪みモデリングとアート的品質モデリングの相対的寄与度は何か？

主な発見

• 提案されたNR IQAモデルは、CGIQA-6kデータベースでスピアマン順位相関係数（SRCC）0.8092およびピアソン線形相関係数（PLCC）0.8293を達成し、すべてのSOTA NR IQA手法を顕著に上回った。
• CCT-CGIデータセットでは、SRCCが0.8011、PLCCが0.8055を記録し、圧縮歪みを含むCGIに強い一般化性能を示した。
• 色の歪みに特化したコマーシャルアニメーション画像に焦点を当てたNBU-CIQADデータセットでは、SRCCが0.3061、PLCCが0.3003を記録し、ドメインシフトに起因する性能差が顕在化した。
• 統計的検定により、CGIQA-6kおよびそのサブセットにおいて、提案手法がすべての比較モデルを統計的に上回っていることが確認され、すべての対比較でp値 < 0.05であった。
• LIVE-YT-Gamingデータセットにおけるモデルの性能は、動画関連のCGIコンテンツに対しても一般化可能であることを示し、SRCCが0.7088、PLCCが0.7086を達成した。
• アブレーションスタディにより、歪みとアート的品質の共同モデリングが、歪み特徴のみを用いるモデルに比べてSRCCで12.3%の向上をもたらすことが確認された。

(b) Sample CGI