[論文レビュー] Video Quality Assessment: A Comprehensive Survey

Qi Zheng, Yibo Fan+9 more|arXiv (Cornell University)|Dec 4, 2024

Image and Video Quality Assessment被引用数 4

ひとこと要約

この論文は、従来の手法、ノーリファレンス手法、学習ベースの手法を含む動画品質評価（VQA）手法について包括的なサーベイを提供している。メトリクス、モデル、データセット、評価フレームワークを体系的にレビューし、VQA分野における統合的な概要を提示するとともに、分野における主要な課題と今後の方向性を特定している。

ABSTRACT

Video quality assessment (VQA) is an important processing task, aiming at predicting the quality of videos in a manner highly consistent with human judgments of perceived quality. Traditional VQA models based on natural image and/or video statistics, which are inspired both by models of projected images of the real world and by dual models of the human visual system, deliver only limited prediction performances on real-world user-generated content (UGC), as exemplified in recent large-scale VQA databases containing large numbers of diverse video contents crawled from the web. Fortunately, recent advances in deep neural networks and Large Multimodality Models (LMMs) have enabled significant progress in solving this problem, yielding better results than prior handcrafted models. Numerous deep learning-based VQA models have been developed, with progress in this direction driven by the creation of content-diverse, large-scale human-labeled databases that supply ground truth psychometric video quality data. Here, we present a comprehensive survey of recent progress in the development of VQA algorithms and the benchmarking studies and databases that make them possible. We also analyze open research directions on study design and VQA algorithm architectures. Github link: https://github.com/taco-group/Video-Quality-Assessment-A-Comprehensive-Survey.

研究の動機と目的

• 動画品質評価（VQA）技術について体系的かつ最新のレビューを提供すること。
• ノーリファレンス、リダクドリファレンス、フルリファレンスのVQAモデルの進化と現在の状態を分析すること。
• 標準化されたデータセットを用いて、既存のVQAメトリクスの性能と限界を評価すること。
• ディープラーニング統合と知覚モデリングを含む、VQAにおける未解決の課題と今後の研究方向性を特定すること。
• 動画品質研究および応用分野の研究者および実務家にとっての参考資料として機能すること。

提案手法

• 利用可能なリファレンス情報に基づいて、VQA手法をフルリファレンス、リダクドリファレンス、ノーリファレンスのフレームワークに分類すること。
• PSNR、SSIM、VMAFといった古典的メトリクスをレビューし、それらの知覚的関連性と限界を分析すること。
• 畳み込みニューラルネットワーク（CNN）とメトリック学習を活用した学習ベースのVQAモデルの役割を検討すること。
• 構造的および統計的特徴を含む知覚的品質モデルの役割が、予測精度の向上にどのように寄与するかを分析すること。
• TID2013、LIVE、KoNViD-1k などの広く使われているベンチマークデータセットを調査し、その多様性と限界を評価すること。
• VQA研究で用いられる評価プロトコルとメトリクスを比較すること。これには相関係数（例：SROCC、LCC）と統計的有意性検定が含まれる。

実験結果

リサーチクエスチョン

• RQ1 フルリファレンス、リダクドリファレンス、ノーリファレンスの各VQAモデルは、正確性とロバストネスの観点でどのように比較されるか？
• RQ2 PSNR や SSIM といった従来のVQAメトリクスが、人間の視覚的知覚を捉える上で示す主な限界は何か？
• RQ3 ディープラーニングベースのVQAモデルは、主観的な動画品質を予測する上で、古典的手法をどの程度上回っているか？
• RQ4 ベンチマークデータセットは、VQAモデルの一般化性能と評価にどのように影響を与えるか？
• RQ5 知覚的に正確で、スケーラブルかつ汎用的なVQAソリューションを開発する上で、未解決の課題は何か？

主な発見

• PSNR や SSIM といった従来のメトリクスは、ピクセル単位の差異に依存するため、人間の評価との相関が限定的である。
• ディープラーニングに基づくノーリファレンスVQAモデルは、古典的手法よりも主観的平均評価点（MOS）との相関が高くなっている。
• VMAFメトリクスは、ストリーミングおよび圧縮動画において優れた性能を示しており、特にアダプティブビットレート環境で顕著である。
• KoNViD-1k や TID2013 のようなデータセットは広く使われているが、コンテンツタイプ、歪みタイプ、品質範囲に偏りを示している。
• ディープラーニングモデルに知覚的特徴とアテンションメカニズムを統合することで、多様な動画コンテンツにわたるロバストネスが向上している。
• 進展は見られるものの、異なる動画コーデック、解像度、コンテンツタイプにわたる一般化は、依然としてVQA分野における大きな課題のままである。