[論文レビュー] Codec Compression Efficiency Evaluation of MPEG-5 part 2 (LCEVC) using Objective and Subjective Quality Assessment

Nabajeet Barman, Steven Schmidt+2 more|arXiv (Cornell University)|Apr 12, 2022

Video Coding and Compression Technologies被引用数 4

ひとこと要約

本稿は、ライブゲーミング動画ストリーミングにおけるMPEG-5 Part 2 LCEVCの性能を評価し、客観的（VMAF、PSNR）および主観的品質評価を用いてx264およびx265と比較している。VMAFを用いた場合、LCEVCはx264およびx265に対してそれぞれ約42%および38%のビットレート削減を達成しており、特にx264ベースのエンコードにおいて低ビットレートで優れた主観的品質を示している。

ABSTRACT

With the increasing advancements in video compression efficiency achieved by newer codecs such as HEVC, AV1, and VVC, and intelligent encoding strategies, as well as improved bandwidth availability,there has been a proliferation and acceptance of newer services such as Netflix, Twitch, etc. However, such higher compression efficiencies are achieved at the cost of higher complexity and encoding delay, while many applications are delay sensitive. Hence, there is a requirement for faster, more efficient codecs to achieve higher encoding efficiency without significant trade-off in terms of both complexity and speed. We present in this work an evaluation of the latest MPEG-5 Part 2 Low Complexity Enhancement Video Coding (LCEVC) for live gaming video streaming applications. The results are presented in terms of bitrate savings using both subjective and objective quality measures as well as a comparison of the encoding speeds. Our results indicate that, for the encoding settings used in this work, LCEVC outperforms both x264 and x265 codecs in terms of bitrate savings using VMAF by approximately 42\% and 38\%. Using subjective results, it is found that LCEVC outperforms the respective base codecs, especially for low bitrates. This effect is more evident for x264 than for x265, i.e., for the latter the absolute improvement of quality scores is smaller. The objective and subjective results as well as sample video sequences are made available as part of an open dataset, LCEVC-LiveGaming at https://github.com/NabajeetBarman/LCEVC-LiveGaming.

研究の動機と目的

• ライブゲーミング動画ストリーミング用途における新しいMPEG-5 Part 2 LCEVCコーデックの圧縮効率を評価すること。
• 客観的および主観的品質指標を用いて、LCEVCの性能を広く使用されているベースコーデックx264およびx265と比較すること。
• 特に低帯域幅環境において、LCEVCがエンコード速度および品質の一貫性に与える影響を分析すること。
• 今後のゲーム関連の動画コーデック評価研究のための再現可能なオープンデータセット（LCEVC-LiveGaming）を提供すること。
• 主観的テスト手法の信頼性およびVMAFやPSNRなどの客観的指標との相関関係を評価すること。

提案手法

• ベースコーデックx264およびx265上にLCEVC仕様を強化層として適用し、半分の解像度でエンコードし、残差圧縮を適用することで品質を向上させた。
• 符号化効率を測定するためにPSNRおよびVMAFといった客観的品質指標を用い、ビットレート削減の比較にはBD-BR（Bjontegaard Delta-Bitrate）を用いた。
• 修正されたACR尺度およびペアワイズ刺激評価を用いたペア比較の主観的テストを実施し、最終ユーザーが感じ取る品質を測定した。
• ビットストリームサイズおよび品質スコアのフレーム単位の分析を実施し、動画シーケンス全体にわたる時間的整合性とパフォーマンスを評価した。
• 主観的MOSスコアの各コーデック設定間での差の統計的有意性を分析するためにANOVAを用いた。
• 再現可能性を図るため、エンコード済み動画シーケンス、品質スコア、テストメタデータを含む包括的なオープンデータセットを収集・公開した。

実験結果

リサーチクエスチョン

• RQ1 VMAFやPSNRといった客観的指標を用いた場合、LCEVCはx264およびx265と比べてどの程度のビットレート削減を達成するか？
• RQ2 特に低ビットレートにおいて、LCEVCエンコード済みシーケンスとそのベースコーデック版との間で、主観的品質にどのような差が生じるか？
• RQ3 LCEVCの品質パフォーマンスはフレーム単位でどの程度一貫しているか？また、帯域制限下でも優れた視覚的品質を維持できるか？
• RQ4 ゲーミング動画コンテンツの文脈において、主観的テスト結果とVMAFやPSNRといった客観的指標との相関関係はどの程度高いか？
• RQ5 LCEVCのマルチレイヤーアーキテクチャは、フル解像度のベースコーデックと比較して、低ビットレートでのパフォーマンス向上にどのように寄与しているか？

主な発見

• VMAFを客観的品質指標として用いた場合、LCEVCはx264に対して約42%、x265に対して約38%のビットレート削減を達成した。
• 主観的テストの結果、LCEVC-x264はx264よりも平均意見スコア（MOS）で顕著に優れており、特に低ビットレートで一貫性のある品質体験を提供した。
• x265の場合、LCEVCによる主観的改善は小さく、これはx265が高ビットレートで既に高い品質を提供しているため、LCEVC強化による相対的利得が小さいことを示している。
• フレーム単位の分析から、LCEVCは特に低ビットレート条件下でもより一貫性のあるビットストリームサイズおよび品質スコアを維持していることが判明した。これは、半分の解像度でベースレイヤーをエンコードしているためである。
• ANOVA分析により、コーデック実装が主観的品質に統計的に有意な主効果を示しており、テスト手法の信頼性が裏付けられた。
• 本研究では、VMAFを用いたBD-BR結果は注意深く解釈する必要があり、PSNRに基づくBD-BR指標は知覚的利得を完全に反映していない可能性があるため、主観的テストによる補完が不可欠であると判明した。