[論文レビュー] Video compression dataset and benchmark of learning-based video-quality metrics

Anastasia Antsiferova, Sergey Lavrushkin+4 more|arXiv (Cornell University)|Nov 22, 2022

Image and Video Quality Assessment被引用数 13

ひとこと要約

本論文は、AVC、HEVC、AV1、VVC、VP9といった現代の圧縮標準に基づく2,486本の圧縮動画ストリームと、クラウドソーシングによる主観的品質スコアを含む新しいベンチマークおよびデータセットを紹介する。最先端の学習ベースの動画品質評価指標を評価した結果、一部のノーリファレンス指標が、VMAFのような上位のフルリファレンス指標と同等の性能を示していることが判明した。VMAFは依然として最も相関の高いフルリファレンス指標のままである。

ABSTRACT

Video-quality measurement is a critical task in video processing. Nowadays, many implementations of new encoding standards - such as AV1, VVC, and LCEVC - use deep-learning-based decoding algorithms with perceptual metrics that serve as optimization objectives. But investigations of the performance of modern video- and image-quality metrics commonly employ videos compressed using older standards, such as AVC. In this paper, we present a new benchmark for video-quality metrics that evaluates video compression. It is based on a new dataset consisting of about 2,500 streams encoded using different standards, including AVC, HEVC, AV1, VP9, and VVC. Subjective scores were collected using crowdsourced pairwise comparisons. The list of evaluated metrics includes recent ones based on machine learning and neural networks. The results demonstrate that new no-reference metrics exhibit a high correlation with subjective quality and approach the capability of top full-reference metrics.

研究の動機と目的

• AV1、VVC、LCEVCといった現代の圧縮標準から生じる圧縮アーティファクトを反映した、包括的で最新の動画品質評価指標ベンチマークが不足している問題に対処する。
• 既存のデータセットが主に古いAVC圧縮動画に偏っており、参加者数が少ない屋内での主観的テストに依存しているという制限を克服する。
• 大規模かつ多様なデータセットを提供し、クラウドソーシングによる対比較評価を用いて、新しい学習ベースの品質評価指標の偏りのない評価を可能にする。
• 公開されたオープンセットと非公開のテストセットを用いて、新規の動画品質評価モデルの公平で再現可能なベンチマーク評価を可能にする。
• 現代のエンコーダーが生成する実世界のアーティファクトを学習対象としたリソースを提供することで、より正確で知覚的に整合性のある指標の開発を支援する。

提案手法

• AVC、HEVC、AV1、VP9、VVCの5つの現代の動画圧縮標準を用いて、2,486本の動画ストリームを収集した。
• 約11,000人の参加者を対象に、対比較法を用いたクラウドソーシングによる主観的品質評価を実施した。
• 偏りのない評価を保証するため、オープンセットと非公開テストセットに分かれたベンチマークを構築した。
• 深層学習ベースのノーリファレンスおよびフルリファレンスモデルを含む、22の最先端の動画品質評価指標を評価した。
• 5つのコンテンツベースのサブセットごとに、主観的スコアとの相関をSROCCおよびKROCC指標で測定した。
• 標準化されたハードウェア環境下での各指標の計算効率（FPS）を報告し、実用的導入可能性を評価した。

実験結果

リサーチクエスチョン

• RQ1 AV1 や VVC といった新しい圧縮標準で圧縮された動画について、現代の学習ベースのノーリファレンス動画品質評価指標は、主観的品質とどの程度一致するか？
• RQ2 VMAF などの既存のフルリファレンス指標は、現代の圧縮アーティファクトにおいて、主観的スコアとどの程度相関するか？
• RQ3 過去のデータセットで学習されたノーリファレンス指標は、LCEVCにおけるスーパーレゾリューションなどの新しい圧縮アーティファクトに一般化できるか？
• RQ4 新しいデータセットにおける、ゲーム、UGC、映画的コンテンツなどの異なるコンテンツタイプにおいて、指標の性能はどのように変化するか？
• RQ5 提案されたベンチマーク上で評価された際、現代の学習ベースの指標の計算効率はどの程度か？

主な発見

• VMAF（v061）は、全データセットにおいて最高のSROCC（0.972、95％信頼区間：0.971～0.974）を達成し、最も優れたフルリファレンス指標であった。
• ノーリファレンス指標のMDTVSFAはSROCCが0.961（95％信頼区間：0.958～0.964）を記録し、トップのフルリファレンス指標と同等の性能を示した。
• SPAQ MT-S や SPAQ BL などの複数のノーリファレンス指標が、多様なコンテンツタイプで高い相関（SROCC > 0.94）を示した。
• AVQT（Apple社のAdvanced Video Quality Tool）はSROCCが0.944（95％信頼区間：0.941～0.947）を達成し、公に評価された範囲が限られていたにもかかわらず、強力な性能を示した。
• 指標の計算複雑度は大きくばらついており、NIQEが最も高速（80.00 FPS）で、VQMが最も遅かった（280.00 FPS）。これは、精度と速度のトレードオフを示している。
• 指標スコアの分布は一様ではなく、SSIMは平均して約0.85、PSNRは対数正規分布に類似した分布を示しており、従来の指標では捉えきれない実世界の圧縮アーティファクトを反映している。